Bạn đã từng nghe qua những ý kiến khác nhau về việc thiết lập các quy tắc cho bot đối với các file nguồn (resource file) chưa?
Có thể là vì vậy mà nhiều nhà quản trị web quyết định chặn quyền truy cập của bọ quét đến các nội dung như các file CSS, các file JS và những tài nguyên quan trọng khác.
Đây là một hành động cực kỳ không tốt.
Từ năm 2012 cho đến nay, Google đã rất nhiều lần chỉ ra rằng họ cần truy cập vào các file này để lấy dữ liệu và lập chỉ mục cho website của bạn một cách thích hợp.
Do vậy, trong giai đoạn thu thập dữ liệu và lập chỉ mục (render stage), bạn cần cho phép Google truy cập những tập tin này.
Hãy kiểm tra file robotstxt để đảm bảo bạn đang không “chặn” các tập tin này, ngoài ra bạn cũng có thể thêm vào những dòng lệnh sau đây để chắc chắn rằng chúng được truy cập:
User-agent: Googlebot
Allow: *.css
Allow: *.js# global