Index là gì trong SEO?
Index (lập chỉ mục) là bước Google đọc một trang, hiểu nội dung của nó rồi lưu vào chỉ mục, tức kho dữ liệu Google dùng để trả kết quả tìm kiếm. Trang chưa vào chỉ mục thì không thể xuất hiện trên Google, dù nội dung tốt đến đâu. Được index cũng chưa có nghĩa là được xếp hạng: đó chỉ là tấm vé vào cửa.
Từ "index" còn nhiều nghĩa khác, như chỉ mục trong database hay chỉ số chứng khoán. Bài này chỉ nói về nghĩa trong SEO, một phần của nhóm việc technical SEO giúp Google đọc được website.
Điều nhiều người bất ngờ nhất là Google không hứa index mọi trang. Trong tài liệu về báo cáo Lập chỉ mục trang, Google viết thẳng: "Đừng mong đợi Google sẽ lập chỉ mục mọi URL trên trang web của bạn." Việc của mình là bảo đảm những trang quan trọng nằm trong chỉ mục, và biết vì sao những trang còn lại bị bỏ ra.
Crawl và index khác nhau thế nào?
Crawl là lúc Googlebot tải trang về. Index là lúc Google quyết định có lưu trang đó vào chỉ mục hay không. Hai bước nối tiếp nhau nhưng không đi kèm nhau: một trang có thể được crawl nhiều lần mà vẫn không được index.
Chính khoảng trống này sinh ra hai trạng thái hay làm người mới rối nhất trong Search Console. "Đã phát hiện thấy" nghĩa là Google biết URL nhưng chưa crawl. "Đã thu thập dữ liệu" nghĩa là Google đã crawl xong nhưng chưa index. Nhìn tên thì na ná, cách sửa thì khác hẳn nhau, nên phần dưới sẽ tách riêng từng trường hợp.
Cách kiểm tra một trang đã được Google index chưa
Có ba cách đang được dùng phổ biến. Chỉ cách đầu tiên cho câu trả lời chắc chắn cho từng URL.
1. Công cụ Kiểm tra URL trong Search Console
Dán URL vào ô tìm kiếm trên cùng của Search Console. Nếu thấy "URL nằm trên Google", trang đã ở trong chỉ mục. Nếu thấy "URL không nằm trên Google", bấm mở phần "Lập chỉ mục trang" để xem lý do và lần crawl gần nhất.
Nút "Kiểm tra URL đang hoạt động" cho biết bản hiện tại của trang có index được không, ví dụ bạn vừa gỡ noindex. Theo hướng dẫn của Google, mỗi ngày có giới hạn số lần kiểm tra và số lần "Yêu cầu lập chỉ mục" cho mỗi tài sản. Vì vậy hãy dành công cụ này cho trang quan trọng, đừng dò từng bài một.
2. Báo cáo Lập chỉ mục trang cho cả website
Muốn nhìn toàn cảnh thì vào Lập chỉ mục → Trang. Báo cáo chia URL thành hai nhóm: đã lập chỉ mục và không được lập chỉ mục, kèm lý do cho nhóm sau. Đây là chỗ nên mở mỗi tháng, nhất là sau khi đổi cấu trúc URL hay chuyển nền tảng.
3. Lệnh site: chỉ để ước lượng
Gõ site:tenmien.com/duong-dan lên Google thấy bài hiện ra là nhiều người thở phào. Cách này nhanh nhưng không đủ tin cậy để kết luận. Trong tài liệu về toán tử site:, Google nói rõ danh sách trả về không phải lúc nào cũng đầy đủ. Còn lệnh cache: mà nhiều bài cũ vẫn hướng dẫn thì Google đã gỡ từ năm 2024, giờ không dùng được nữa.
Đọc các trạng thái "không được lập chỉ mục" và việc cần làm
Thấy cột "Không được lập chỉ mục" có hàng trăm URL, phản xạ đầu tiên thường là hoảng. Nhưng phần lớn các dòng trong đó là bình thường. Bảng dưới gom các trạng thái hay gặp nhất, dùng đúng tên tiếng Việt trong Search Console.
| Trạng thái | Nghĩa là | Có cần sửa? | Việc nên làm |
|---|---|---|---|
| Đã thu thập dữ liệu – hiện chưa được lập chỉ mục | Google đã đọc trang nhưng chưa lưu | Có, nếu là trang quan trọng | Xem mục bên dưới |
| Đã phát hiện thấy – hiện chưa được lập chỉ mục | Google biết URL nhưng chưa crawl | Có, nếu kéo dài | Thêm link nội bộ, kiểm tra tốc độ máy chủ |
| URL có đánh dấu "noindex" | Trang tự yêu cầu không index | Chỉ khi gắn nhầm | Gỡ noindex ở trang cần lên Google |
| URL bị tệp robots.txt chặn | Google không được phép tải trang | Chỉ khi chặn nhầm | Sửa quy tắc Disallow |
| Trang thay thế có thẻ chính tắc thích hợp | Trang trỏ canonical về bản chính đã index | Không | Giữ nguyên |
| Trang trùng lặp, Google đã chọn một trang chính tắc khác với lựa chọn của người dùng | Google không đồng ý với canonical bạn khai | Có | Làm rõ trang chính, gộp hoặc tách nội dung |
| Trang có lệnh chuyển hướng | URL đang redirect sang URL khác | Không | Bỏ URL cũ khỏi sitemap và link nội bộ |
| Lỗi 404 mềm / Không tìm thấy (404) | Trang trống hoặc đã bị xóa | Tùy trang | Khôi phục, redirect tới trang tương đương hoặc để 404 |
Hai dòng chặn bằng noindex và robots.txt hay bị dùng lẫn lộn. Nếu chưa chắc nên dùng cái nào, đọc thêm noindex và Disallow khác nhau thế nào trước khi sửa. Dòng "Google đã chọn trang chính tắc khác" thì thường là dấu hiệu hai trang của bạn đang nói gần giống nhau. Cách khai báo đúng nằm trong bài về thẻ canonical.
Đã thu thập dữ liệu – hiện chưa được lập chỉ mục
Đây là trạng thái khó chịu nhất, vì không có lỗi kỹ thuật nào để chỉ tay vào. Google đã vào, đã đọc, rồi quyết định chưa lưu. Google cũng nói trang có thể được index sau này và bạn không cần gửi lại URL.
Trên thực tế, trang rơi vào đây thường có ít nhất một trong ba điểm. Nội dung gần giống một trang khác trên chính site. Trang có ít link nội bộ trỏ tới, nên trông như không quan trọng. Hoặc trang không có gì khác với hàng chục bài cùng chủ đề trên Internet. Sửa đúng điểm đó có tác dụng hơn bấm yêu cầu lập chỉ mục nhiều lần.
Đã phát hiện thấy – hiện chưa được lập chỉ mục
Ở trạng thái này Google mới chỉ biết URL, thường qua sitemap hoặc một link, nhưng chưa xếp lịch crawl. Google giải thích một lý do là để tránh làm quá tải máy chủ. Với website nhỏ, thủ phạm hay gặp hơn là trang mới chỉ nằm trong sitemap mà không có link nội bộ nào dẫn tới.
Còn crawl budget, khái niệm hay được nhắc tới ở đây, chủ yếu là chuyện của site rất lớn. Hướng dẫn của Google dành cho site từ khoảng một triệu trang, hoặc khoảng mười nghìn trang thay đổi mỗi ngày. Một website doanh nghiệp vài trăm trang hiếm khi cần lo chuyện đó.
Thứ tự sửa khi một trang quan trọng không được index
Khi trang dịch vụ hay một bài quan trọng không vào được chỉ mục, làm lần lượt theo thứ tự dưới đây. Bước đầu gỡ những lỗi chặn cứng, các bước sau mới làm cho trang đáng được lưu hơn.
- Kiểm tra URL đang hoạt động: trang phải trả mã 200, không có noindex, không bị robots.txt chặn, và canonical trỏ về chính nó.
- Xem HTML Google nhận được. Trong kết quả kiểm tra, mở "Xem trang đã thu thập dữ liệu" rồi tìm đoạn nội dung chính. Không thấy thì vấn đề nằm ở cách website hiển thị chứ không nằm ở bài viết.
- Tìm xem trên chính site có trang nào đang trả lời cùng một câu hỏi không. Nếu có, phân vai lại cho rõ: mỗi bài một nhiệm vụ, bài này link sang bài kia.
- Thêm link nội bộ từ những trang đã có lượt hiển thị, và giữ URL trong sitemap XML.
- Làm mới nội dung bằng thứ chỉ bạn có: số liệu, ảnh chụp, ví dụ từ khách hàng thật.
- Yêu cầu lập chỉ mục một lần rồi chờ. Google cho biết việc này thường mất khoảng một ngày nhưng có thể lâu hơn, và gửi yêu cầu không đảm bảo trang được đưa vào chỉ mục.
Bước 2 đáng làm kỹ với website dựng bằng React hay các framework tương tự, nơi nội dung chính có khi chỉ hiện ra sau khi trình duyệt chạy JavaScript. Google có thể render để đọc tiếp, nhưng không có gì bảo đảm bot của các công cụ AI cũng làm vậy. Đó là lý do phần kỹ thuật này nằm trong cả dịch vụ SEO AI, không riêng SEO Google.
Với vài trang lẻ, sáu bước này tự làm được trong một buổi. Khi số URL không được index lên tới hàng trăm, hoặc rơi đúng vào trang dịch vụ đang cần ra khách, việc cần làm là chẩn đoán cả website. Đó là bước đầu tiên của dịch vụ SEO website tại Mạnh Digital. Nếu muốn có người xem giúp trước, gửi website qua Zalo hoặc form để trao đổi.
Đọc tiếp: