Cloudflare推出isitagentready.com工具，評估網站對AI Agent的優化程度

Cloudflare推出isitagentready.com工具，評估網站對AI Agent的優化程度。目前網頁對Agent支援極低，僅少數標準被採用。

Cloudflare於2026-04-17發布isitagentready.com工具，幫助網站擁有者優化網站以適應AI Agent，從認證指引、內容控制到付費格式皆涵蓋，並新增Cloudflare Radar的「AI Agent標準採用」資料集，追蹤網際網路各標準採用率。網頁歷史上適應瀏覽器與搜尋引擎，如今須適應Agent，但目前準備度極低，顯示標準採用不足將限制Agent效能。

當前網頁Agent準備度低迷

Cloudflare Radar分析網際網路前200,000大流量網域，排除轉向服務、廣告伺服器與隧道服務等無關類別，聚焦企業、出版商與平台，結果顯示Agent標準採用率慘淡。此圖表置於Cloudflare Radar AI Insights頁面，按網域類別追蹤，每週更新，可透過Data Explorer或Radar API存取。

• robots.txt普及率78%，但多為傳統搜尋引擎爬蟲設計，非AI Agent。
• Content Signals僅4%網站在robots.txt宣告AI使用偏好，此新標準正獲動能。
• Markdown內容協商（Accept: text/markdown回應text/markdown）僅3.9%網站通過。
• 新興標準如MCP Server Cards與API Catalogs (RFC 9727)僅出現於資料集中不到15個網站，早期採用者具競爭優勢。

isitagentready.com評分機制

輸入網站URL，即獲Agent準備度分數，基於四大維度評估，提供可行動回饋提示，可直接餵給程式碼Agent實作。類似Google Lighthouse推動效能與安全標準，此工具引導Agent最佳實務採用。網站本身Agent就緒，公開無狀態MCP伺服器（https://isitagentready.com/.well-known/mcp.json）支援Streamable HTTP的scan_site工具，以及Agent Skills索引（https://isitagentready.com/.well-known/agent-skills/index.json），讓相容Agent程式化掃描並知修復方法。

• Discoverability：robots.txt、sitemap.xml、Link Headers (RFC 8288)。robots.txt自1994年起定義爬取規則與sitemap路徑，Agent首查處；Link Headers嵌入HTTP回應，無需解析HTML。
• Content：Markdown for Agents，預設檢查Markdown內容協商，可自訂包含llms.txt（2024年9月提案，根目錄純文字檔案，提供LLM結構化閱讀清單，適合context window）。
• Bot Access Control：Content Signals、robots.txt AI bot規則、Web Bot Auth。Content Signals精準控制ai-train、ai-input與search；Web Bot Auth (IETF草案)讓bot簽署HTTP請求，網站驗證/.well-known/http-message-signatures-directory公鑰。
• Capabilities：Agent Skills、API Catalog (RFC 9727)、OAuth伺服器發現 (RFC 8414與RFC 9728)、MCP Server Card、WebMCP。
• 額外檢查Agentic commerce如x402、Universal Commerce Protocol、Agentic Commerce Protocol，但不計分。

Discoverability細節與重要性

robots.txt不僅列sitemap（XML清單所有路徑，Agent循徑發現內容），也定義存取規則。Link Headers (RFC 8288)優於HTML內嵌連結，直接從HTTP回應提取資源。

Content accessibility優化

Markdown內容協商讓Agent發Accept: text/markdown即獲乾淨Markdown版，非HTML，測試顯示某些案例token減80%，加速回應、降低成本，並確保context window內完整消耗。llms.txt如sitemap的LLM版，提供網站概述與關鍵內容位置。

Bot Access Control精準管理

robots.txt為bot存取首要檢查點，可限特定路徑。Content Signals獨立控制AI訓練（ai-train）、推論輸入（ai-input）與搜尋顯示（search）。Web Bot Auth讓友好bot自證身份，未來隨網站運行Agent互呼將更關鍵。

Protocol Discovery與互動

API Catalog (RFC 9727)於/.well-known/api-catalog列API規格與文件，免刮取開發者入口。MCP（Model Context Protocol）開放標準，一個MCP伺服器即相容多Agent；MCP Server Card (草案)於/.well-known/mcp/server-card.json描述工具、連線與認證。Agent Skills索引於/.well-known/agent-skills/index.json指引任務技能。OAuth (RFC 9728)讓人類授權Agent存取保護資源，Cloudflare Access於Agents Week 2026支援，示範OpenCode使用。

Commerce標準支援

網頁支付設計給人類，Agent購物流程斷裂。x402重啟HTTP 402 Payment Required（1997規格），伺服器回機讀支付條款，Agent付費重試；Cloudflare與Coinbase創x402 Foundation推廣。Universal Commerce Protocol與Agentic Commerce Protocol讓Agent發現與購買電商產品。

整合Cloudflare URL Scanner

URL Scanner原提供HTTP標頭、TLS憑證、DNS、技術、效能與安全報告，今新增Agent Readiness分頁，含檢查通過、等級與改善指引。程式化透過URL Scanner API啟用agentReadiness選項。

Cloudflare Developer Docs示範優化

Cloudflare自測分數（連結檢查），採用上述標準，並大改Developer Docs成最Agent友好資源。2026年2月測試7 Agent，僅Claude Code、OpenCode、Cursor預設要Markdown，其餘用URL fallback。

URL fallbacks機制

每頁動態提供/index.md Markdown路徑，無靜態重複：

• URL Rewrite Rule匹配/index.md，用regex_replace剝除轉基底路徑。
• Request Header Transform Rule依原始路徑設Accept: text/markdown。

llms.txt指向/index.md，永遠回Markdown。

大型網站llms.txt最佳化

單一llms.txt超5,000頁超context window，故每頂層目錄獨立llms.txt，根檔僅指向子目錄。移除450個低價值本地化目錄清單頁（sitemap有列，但重複連結無助LLM）。每筆豐富上下文（標題、語意名稱、描述），Product Content Experience (PCX)團隊精煉標題、描述與URL結構，讓Agent精準導航。

afdocs工具測試

採用afdocs（Agent-friendly documentation規範與開源專案），自建審計儀表板，評估內容發現與導航。

基準測試成果

用Kimi-k2.5經OpenCode指向其他技術文件llms.txt答特定問題，Cloudflare Docs平均耗token少31%、正確答覆快66%。產品目錄fit單一context window，讓Agent直線路徑識別並擷取頁面。

結構決定速度

其他文件常陷「grep loop」：巨型llms.txt超window，Agent關鍵字搜尋，錯過即重搜，丟失廣域上下文，準確率降、延遲增、token膨脹。Cloudflare Docs全fit window，Agent一口氣讀取目錄、直取Markdown，無迂迴，提升效率與成本效益。此設計凸顯未優化網站的結構缺陷，迫Agent低效迭代，凸顯Agent標準迫切性。