Cloudflare Bot Preference Sync Đồng Bộ Robots.txt Với AI Bot

Cloudflare công bố Bot Preference Sync ngày 22/8/2026, một tính năng giúp chính sách AI bot trong dashboard và robots.txt của website phản ánh cùng một cấu hình. Công cụ được thiết kế cho ba nhóm traffic gồm Search, Agent và Training, giải quyết tình trạng website nói một điều trong robots.txt nhưng enforcement ở edge lại cấu hình khác.

Vấn Đề Khi Robots.txt Và Rule Không Đồng Bộ

Một website có thể ghi Disallow với crawler trong robots.txt nhưng lại không chặn crawler đó ở tầng mạng. Trường hợp ngược lại cũng có thể xảy ra: edge rule chặn nhưng robots.txt không thể hiện đúng chủ đích của publisher. Cloudflare cho rằng sự không đồng bộ này tạo khó khăn khi AI crawler ngày càng đảm nhận nhiều vai trò cùng lúc, từ search indexing tới agent retrieval và training.

Bot Preference Sync Tạo Robots.txt Từ Dashboard

Khi bật tính năng, Cloudflare cập nhật robots.txt dựa trên policy đã đặt cho Search, Agent và Training. Nếu website đã có file robots.txt, phần do Bot Preference Sync tạo sẽ được đưa lên trước, trong khi các Disallow hiện có vẫn được giữ. Nhờ đó, chủ website không phải tự duy trì một danh sách AI bot tĩnh ở hai nơi.

Search, Agent Và Training Có Thể Được Quản Lý Khác Nhau

Với Search và Agent, Cloudflare duy trì ba lựa chọn: Allow, Block trên trang có quảng cáo hoặc Block toàn bộ. Với Training, tùy chọn Disallow ghi preference không cho dùng nội dung để training vào robots.txt. Đây là điểm quan trọng cho website SEO. Một publisher có thể muốn crawler search tiếp tục index bài để tạo traffic, nhưng không muốn cùng nội dung được sử dụng trong training. Cấu hình tách nhóm cho phép chủ site thể hiện mong muốn này rõ hơn thay vì dùng một rule chặn toàn bộ.

Mixed-Use Crawler Là Vấn Đề Khó

Một crawler có thể phục vụ nhiều mục đích dưới cùng user agent. Theo Cloudflare, điều này làm publisher khó tách traffic search khỏi training. Công ty đưa thêm yêu cầu transparency với bot muốn được xem là crawler hợp tác khi website Disallow Training. Các yêu cầu gồm tôn trọng preference không training, có phương án cho publisher từ chối AI summary, cung cấp visibility ở mức URL và chứng minh việc từ chối training không làm ảnh hưởng search truyền thống. Bot đáp ứng điều kiện được Cloudflare theo dõi trong AI bot transparency thuộc Cloudflare Radar.

Danh Sách Bot Được Cập Nhật Từ BotBase

Cloudflare cho biết danh sách user agent được thêm vào robots.txt sẽ được cập nhật định kỳ dựa trên BotBase. Verified bot được phân loại theo Search, Agent và Training cũng có thể xem trong directory công khai của hãng. Điều này giải quyết một vấn đề khá thực tế: danh sách AI crawler thay đổi liên tục. Nếu webmaster tự viết file tĩnh, rule có thể nhanh chóng thiếu bot mới.

Website Có Rule Tùy Biến Vẫn Có Thể Tắt Sync

Bot Preference Sync hoạt động theo policy cấp nhóm chứ không đọc mọi custom rule phức tạp. Website có thỏa thuận riêng với một công ty hoặc cần exception cụ thể có thể tắt Sync và tiếp tục quản lý robots.txt thủ công. Đây là lựa chọn cần thiết cho publisher lớn vì chiến lược crawler thường phức tạp hơn ba trạng thái chung. Cloudflare cho biết khách hàng mới sẽ được bật Bot Preference Sync theo mặc định, còn người đang dùng cơ chế managed robots.txt cũ sẽ nhận yêu cầu review khi chuyển sang hệ thống mới.

Website Có Quảng Cáo Có Cấu Hình Onboarding Riêng

Publisher dựa trên quảng cáo có thể chọn tùy chọn xác nhận website kiếm tiền từ trang có ads. Khi đó, Training được đặt sang Disallow mặc định, trong khi search vẫn có thể được giữ tùy policy. Cách này phản ánh sự khác biệt giữa website thương mại điện tử muốn sản phẩm xuất hiện rộng trong AI search và publisher muốn kéo người đọc về trang.

Bot Preference Sync Có Ý Nghĩa Gì Với SEO?

Robots.txt giờ không chỉ là câu chuyện Googlebot hay Bingbot. Webmaster cần phân biệt search crawler, AI agent và training crawler. Với website content, chiến lược có thể là cho phép Search để giữ discoverability, đánh giá Agent dựa trên traffic referral và tách Training thành policy riêng. Tuy nhiên, robots.txt về bản chất vẫn là preference mà crawler hợp tác cần tôn trọng. Enforcement tại edge mới là lớp giúp chặn traffic khi chủ website quyết định không cho truy cập.

Cloudflare Bot Preference Sync giúp đồng bộ chính sách AI bot trên dashboard với robots.txt, hỗ trợ ba nhóm Search, Agent và Training. Công cụ có giá trị ở việc giảm mâu thuẫn giữa tuyên bố của website và rule thực thi. Với đội SEO và quản trị website, đây là tín hiệu rằng quản lý bot đang trở thành một phần của chiến lược nội dung. Website không còn chỉ quyết định “cho crawl hay chặn”, mà phải xác định crawler được dùng nội dung cho mục đích nào.