Các lỗi thường gặp:
1. Googlebot không thể truy cập URL của bạn, yêu cầu time out , hoặc trang web của bạn đang bận rộn. Kết quả là Googlebot đã buộc phải từ bỏ yêu cầu.
2. Thời gian tải trang, dẫn đến thời gian chờ.
3. Trang động dùng quá lâu để trả lời. Nếu máy chủ đang bận, nó có thể trở lại một tình trạng quá tải để yêu cầu Googlebot thu thập thông tin trang web chậm hơn. Nói chung, chúng tôi khuyên bạn nên giữ các thông số ngắn và sử dụng chúng một cách tiết kiệm. Nếu bạn tự tin về các thông số làm việc cho trang web của bạn, bạn có thể nói Google làm thế nào chúng ta nên xử lý các thông số này.
4. Máy chủ lưu trữ trang web của bạn quá tải, hoặc sai. Nếu vấn đề vẫn còn, kiểm tra với webhoster của bạn, và xem xét tăng khả năng trang web của bạn để xử lý giao thông.
5. Trang web của bạn cũng có thể là cố ý hoặc vô tình chặn Google. Nói chung, điều này có thể là kết quả của một vấn đề cấu hình DNS hoặc trong một số trường hợp, một bức tường lửa sai hoặc hệ thống bảo vệ DoS (đôi khi hệ thống quản lý nội dung của trang web). Hệ thống bảo vệ là một phần quan trọng để đánh giá 1 hệ thống lưu trữ chất lượng và thường được cấu hình để tự động chặn mức độ cao bất thường yêu cầu máy chủ. Tuy nhiên, bởi vì Googlebot thường làm cho yêu cầu nhiều hơn một người sử dụng của con người, nó có thể kích hoạt các hệ thống bảo vệ, làm cho chúng để ngăn chặn Googlebot và ngăn không cho nó dò tìm thông tin trên trang web của bạn.
Cách khắc phục
Để khắc phục vấn đề như trên, đầu tiên chúng ta phải xác định đó là do một phần của cơ sở hạ tầng trang web của bạn đã ngăn chặn Googlebot và loại bỏ nó. Các bức tường lửa được dựng lên có thể không do bạn kiểm soát, vì vậy bạn nên thảo luận với nhà cung cấp hosting của bạn để giải quyết những vấn đề đó.
Một số quản trị web cố tình ngăn chặn Googlebot truy cập vào trang web của họ, có thể sử dụng một bức tường lửa như mô tả ở trên. Trong những trường hợp này, mục đích không phải là để hoàn toàn ngăn chặn Googlebot mà là để kiểm soát từng phần của website được thu thập và lập chỉ mục. Trong trường hợp này, kiểm tra như sau:
Để kiểm soát thu thập nội dung bạn muốn googlebot thu thập hay không thu thập thì nên sử dụng giao thức để chỉ định cho rotbot, trong đó có sử dụng một tập tin robots.txt và cấu hình các thông số URL. Nếu bạn muốn thay đổi mức độ thường xuyên. Googlebot thu thập trang web của bạn, bạn có thể yêu cầu thay đổi tốc độ thu thập dữ liệu của Googlebot.
Nếu vẫn chưa khắc phục được bạn có thể tìm đến một số nhà cung cấp các dịch vụ máy chủ, hosting, tên miền… như: Nhân Hòa, Mắt Bão, Vdo… để họ có thể giúp đỡ và trợ giúp cho bạn.
Theo muahosting1.blogspot.com
