發生什麼事
OpenAI 在 10 月 30 日發布的官方文章中表示，將遵守（honor）一個共用的 robots.txt 訊號。robots.txt 是網站放置的設定檔，用來標示哪些網路爬蟲（自動抓取網頁內容的程式）可以或不可以抓取網站。這個訊號的用途，是協助網站營運者向參與的業者表達自己的 AI 訓練偏好。官方原文只有這一句說明。 官方原文・OpenAI News
The Verge 報導，OpenAI、Google、Microsoft 與 Anthropic 都說會採用這項新標準，讓發布者可以一次對多家 AI 公司套用 AI 訓練偏好。該報導指出，這個名為「policy token」（寫在 robots.txt 裡、供多家業者共同讀取的訊號）的做法，由 Anthropic 負責標準的技術主管 Kevin Kelley 提出，並放在 IETF（Internet Engineering Task Force，制定網際網路技術標準的組織）的框架下。報導也說，目前網站必須分別向各家 AI 公司表達 AI 訓練偏好。 The Verge AI
依 The Verge 的說法，OpenAI、Google、Microsoft 與 Anthropic 表示，如果遇到這個共用 token，會限制自家的 AI 爬蟲存取該網站。 原文
誰受影響
直接受影響的是網站發布者與營運者：依 The Verge 的說法，他們可以用同一個訊號對多家 AI 公司表達偏好，不必逐家設定。報導同時提到發布者正面對 AI 爬蟲持續湧入、內容被餵進 AI 模型的情況，並舉出另外兩種做法：RSL（Really Simple Licensing）標準讓發布者可以向造訪網站的爬蟲收費；Cloudflare（網路基礎設施與安全服務公司）則預設封鎖 AI 爬蟲。 The Verge AI
Microsoft 表示，將提供更細緻的控制，讓發布者選擇退出 AI 訓練，或退出 AI grounding（把 AI 模型指向經過驗證的資訊來源，以減少幻覺的做法）。Microsoft 也指出，無論發布者偏好為何，網站仍會出現在 Bing（Microsoft 的搜尋引擎）的搜尋結果中。 原文
限制與未定事項
各家的實施時程不同。The Verge 報導，Anthropic 已採用這個訊號，Google 與 Microsoft 計畫明年支援，OpenAI 則說會在「coming months」實作。 The Verge AI
Meta 的態度尚未明確。The Verge 指出，Meta 通訊主管 Andy Stone 對新設定表示支持，但沒有說公司是否會遵守。 原文
各方說法
Andy Stone 的原話是：「We believe creating a common signal that conveys such preferences to multiple providers at once is an important step」，並說期待與其他 AI 公司合作，推動標準及其在業界的實作。這段評論是 The Verge 在 10 月 30 日更新時加入。 The Verge AI
The Verge 另指出，Google 先前已實作類似的控制，讓網站可以決定內容是否出現在 AI 搜尋功能或用於 AI 訓練，且不影響在搜尋中的能見度。 原文
接下來要看的事
- Google 與 Microsoft 計畫明年支援這個共用訊號，後續實際上線時程待觀察。
- OpenAI 說會在「coming months」實作，具體上線時間尚未公布。
- Meta 是否會遵守這個共用訊號，Andy Stone 未說明，並表示期待與其他 AI 公司合作推動標準與實作。
