為 AI 代理人優化內容

背景

隨著人工智慧代理（AI Agents）逐漸成為存取網路內容的主力，如何優化網頁結構以利於機器閱讀成為技術社群關注的焦點。Sentry 的工程副總裁 David Cramer 提出，與其依賴如 llms.txt 這種可能不被採納的新標準，開發者應利用現有的「內容協商」（Content Negotiation）機制，根據請求標頭中的 Accept 欄位直接回傳 Markdown 格式，從而提升代理獲取資訊的效率。

社群觀點

針對這項提議，Hacker News 社群展開了激烈的討論。支持者認為，利用 Accept: text/markdown 標頭是一種優雅且務實的做法，它延續了現有的 API 版本控制與行動端優化邏輯。社群成員指出，目前的邊緣模型（Frontier Models）在處理長文本時存在「上下文膨脹」的限制，往往只讀取檔案的前幾千個位元組，因此將文件前端載入（Front-loading）最關鍵的資訊，本質上就是針對 AI 時代的搜尋引擎優化（SEO）。此外，提供結構化的 Markdown 不僅能減輕 AI 解析 HTML 的負擔，對人類讀者或使用輔助技術的視障人士也大有裨益，甚至有開發者希望瀏覽器能原生支援 Markdown 的富文本渲染。

然而，關於 llms.txt 的實用性，社群內存在分歧。雖然原文作者對其嗤之以鼻，但不少開發者分享了成功的應用案例，認為這類約定俗成的檔案能作為網站地圖，引導代理抓取完整的文檔庫。爭論的核心在於「代理是否真的會主動尋找這些檔案」，若代理開發者不遵循這些規範，再好的優化也是徒勞。部分留言者建議，代理應該在請求時主動表明自己的身份與能力（Capabilities），而不僅僅是偽裝成一般的瀏覽器，這樣伺服器才能更精準地提供對應的內容。

安全性則是另一個被高度關注的議題。有討論者警告，這種針對代理提供不同內容的行為可能演變成「代理隱匿」（Agent Cloaking）。如果人類使用者看到的網頁是正常的，但當他們要求 AI 代理摘要內容時，代理卻因為接收到隱藏的指令而執行惡意操作（例如竊取本地端的 SSH 金鑰），這將構成嚴重的安全威脅。社群中也有人分享了過去在 SEO 領域見過的地理圍欄（Geofencing）欺詐案例，提醒開發者在追求「代理引擎優化」（AEO）的同時，必須警惕這種技術被用於釣魚攻擊或資訊操弄。

最後，關於實作層面的討論提到，雖然內容協商在動態後端上易於達成，但對於靜態網頁託管服務來說仍具挑戰，因為這需要伺服器能根據標頭進行邏輯判斷。儘管如此，社群普遍達成共識：網站正逐漸從單純的人類介面轉向「機器可讀」的檔案系統結構，未來的網頁設計勢必需要兼顧人類的視覺體驗與代理的結構化存取需求。

延伸閱讀

• Lasso: 一個能讓開發者輕鬆為網站增加 Markdown 支援的工具。
• MCP (Model Context Protocol): 由 Anthropic 提出的協議，旨在讓代理以結構化方式發現並調用工具。
• Firecrawl / Cloudflare Fetch: 專為 AI 抓取設計的服務與 API。
• llms.txt 規範: 討論中提到的另一種優化代理存取的社群提案。