你的網站文章、商品介紹或教學內容,可能被 AI 公司拿去訓練模型嗎?如果不希望網站內容成為 AI 訓練資料,又想讓使用者透過 ChatGPT 搜尋找到你的網站,該怎麼辦?
OpenAI 在 2026 年 10 月 30 日宣布,將支援一種新的 AI 訓練偏好設定機制,讓網站管理者可以透過 robots.txt,向多家參與的 AI 公司表達是否同意內容被用來訓練生成式 AI。
這項變化對網站經營者、內容創作者、企業行銷人員與 SEO 工作者都有影響。
但有個關鍵必須先釐清:拒絕 AI 訓練,不等於拒絕 ChatGPT 搜尋收錄。 兩者可以分開設定,也不需要為了保護內容就把所有 AI 爬蟲全部封鎖。
本文會用簡單範例說明新機制是什麼、如何設定,以及哪些做法可能讓網站失去 AI 搜尋曝光機會。
OpenAI 的 AI 訓練拒絕機制是什麼?
這次更新的核心,是讓網站管理者能使用共同的訊號,表達自己對 AI 訓練的選擇。
過去,如果網站不希望某些 AI 公司將內容用於模型訓練,通常需要辨識不同公司的爬蟲名稱,再分別設定規則。
例如 OpenAI 有 GPTBot,其他 AI 公司則可能使用自己的爬蟲。
當 AI 服務越來越多,網站管理者就需要維護更多設定。
OpenAI 最新宣布支援的機制,建立在 IETF(網際網路工程任務組)AI Preferences 相關標準化工作的基礎上。
它的概念是:網站只要透過共同格式表達 AI 訓練偏好,採用該機制的 AI 服務就能辨識這項選擇。
這次使用的共同識別名稱為:
__usage_ai-training
網站可以透過 robots.txt 中的設定,表達哪些內容不希望被用於生成式 AI 模型訓練。
不過,這項標準目前仍在草案階段。OpenAI 表示預計在未來數個月實作,並會再公布後續細節。
因此,不能把這次公告理解成所有 AI 公司都已經支援,或所有網站設定都已立即生效。
robots.txt 是什麼?為什麼 AI 公司會看這個檔案?
robots.txt 是網站上的一個文字檔案,用來向自動化爬蟲表達網站存取規則。
如果你的網站網址是:
https://example.com
robots.txt 通常位於:
https://example.com/robots.txt
裡面可以放置不同爬蟲的規則,例如哪些路徑允許存取、哪些不希望被爬取。
你可以把它想成網站入口的指示牌,告訴自動化程式哪些區域有使用限制。
但要注意,robots.txt 不是密碼保護,也不是能強制阻止所有程式存取的安全防護措施。不遵守規則的爬蟲仍可能無視設定。
這次的新機制有一個重要差別:它利用 robots.txt 表達的是內容使用偏好,不單純是爬蟲能不能進入網站。
AI 訓練與 ChatGPT 搜尋有什麼不同?
如果你正在經營部落格、品牌官網或電商網站,這是最值得先了解的部分。
OpenAI 官方目前區分了不同用途的爬蟲,包括 GPTBot 與 OAI-SearchBot。
| 比較項目 | GPTBot | OAI-SearchBot |
| 主要用途 | 蒐集可能用於模型訓練的內容 | 讓網頁有機會出現在 ChatGPT 搜尋結果 |
| 拒絕後的影響 | 表達不希望內容被用於模型訓練 | 網頁可能無法出現在 ChatGPT 搜尋回答中 |
| 是否可以分開設定 | 可以 | 可以 |
| 網站經營者需考量 | 內容授權與訓練使用 | 搜尋曝光與流量 |
例如你經營一家線上課程網站,定期發布 AI 工具教學。
你可能希望文章能被 ChatGPT 搜尋找到,因為讀者有機會因此進入你的網站。
但你不一定希望整個網站的原創文章被拿去訓練模型。
這時候,就可以考慮允許搜尋用途的爬蟲,同時對模型訓練提出限制。
OpenAI 官方也明確說明,允許 OAI-SearchBot、拒絕 GPTBot 是可以並存的做法。
不過,允許搜尋爬蟲不代表網站一定會被 ChatGPT 引用或推薦,搜尋結果仍取決於其他系統判斷。
不想讓 AI 訓練網站內容,robots.txt 怎麼設定?
以下分成兩種方式:已經可依 OpenAI 官方文件使用的爬蟲控制,以及新公布、仍待逐步實作的共同訓練偏好機制。
方法一:透過 GPTBot 設定拒絕 OpenAI 訓練
如果你希望目前就向 OpenAI 表達不願讓網站內容用於生成式 AI 模型訓練,可以參考官方的 GPTBot 控制方式。
在 robots.txt 中加入:
其中:
User-agent: GPTBot指定 OpenAI 的 GPTBot 爬蟲。Disallow: /表示不允許該爬蟲抓取網站路徑。
這項設定不會自動封鎖所有其他 AI 公司的爬蟲,也不等於要求搜尋引擎將網站從搜尋結果移除。
方法二:使用新公布的共同 AI 訓練偏好訊號
根據 2026 年 10 月 30 日公布的 IETF 草案,網站可以透過下列格式表達不希望整站內容被用於 AI 訓練:
這裡的 __usage_ai-training 是表達使用偏好的識別名稱,不是某一家 AI 公司的真實爬蟲名稱。
如果你只希望限制部分內容,草案也提供了依路徑設定例外的方式。
例如:
這代表網站表達不希望整站內容用於 AI 訓練,但對 /press-kit/ 路徑表達允許的偏好。
特別注意:這項共同機制仍是草案,而且 OpenAI 尚未完成全面實作。 上述程式碼是草案規格示範,不能保證目前所有 AI 服務都會遵守,也不應直接取代已經生效的個別爬蟲控制。
想保留 ChatGPT 搜尋曝光,該怎麼設定?
假設你的目標是:
「我希望網站有機會出現在 ChatGPT 搜尋結果,但不希望 OpenAI 使用網站內容訓練生成式 AI。」
可以參考下面的設定:
第一組規則用來表達拒絕 GPTBot 抓取內容作為生成式 AI 模型訓練用途。
第二組規則則允許 OAI-SearchBot 存取網站,保留被 ChatGPT 搜尋服務發現的機會。
未來若要同時表達跨平台 AI 訓練偏好,可以在確認最新規格與平台支援狀態後,再評估加入共同訊號。
不過,這只是簡化示範。
如果網站原本已經有 robots.txt,不能直接把舊內容全部刪除並換成上述規則,否則可能影響原有搜尋引擎與其他服務的爬取設定。
WordPress 網站也能設定嗎?
可以,但實際操作方式會依網站主機、SEO 外掛與管理權限而不同。
如果你使用 WordPress,可以先用瀏覽器開啟自己網站的 /robots.txt,確認目前提供了哪些規則。
接著檢查網站管理後台或 SEO 外掛是否支援編輯 robots.txt。
修改前建議先備份原本內容,再確認以下事項:
- 原有的 Google 等搜尋引擎規則是否保留。
- 是否誤將重要文章或商品頁面設為禁止爬取。
- 新增的 GPTBot 與 OAI-SearchBot 規則是否正確。
- robots.txt 是否能正常公開讀取。
部分 WordPress 網站的 robots.txt 可能由系統動態產生,不一定有可以直接編輯的實體檔案。
如果無法修改,建議請網站工程師或主機管理人員協助,不要隨意更動伺服器設定。
封鎖 AI 爬蟲,會讓網站 SEO 排名下降嗎?
需要分開看待傳統搜尋引擎 SEO 與 AI 搜尋曝光。
拒絕 GPTBot 訓練用途,本身不等於拒絕 Google 搜尋收錄。
GPTBot 並不是 Google 搜尋的 Googlebot,也不負責一般 Google 網頁搜尋的索引管理。
因此,不能直接推論只要封鎖 GPTBot,Google 排名就會下降。
但是,如果你封鎖的是 OAI-SearchBot,情況就不同。
OpenAI 官方文件指出,不允許 OAI-SearchBot 的網站,通常不會出現在 ChatGPT 搜尋回答中,但仍可能以導覽連結形式出現。
對希望透過 AI 搜尋取得新訪客的網站來說,這是一項需要衡量的取捨。
另一個重要觀念是,AI 搜尋曝光與 AI 模型訓練不是同一件事。
模型訓練涉及內容如何用於改善 AI 的能力;搜尋曝光則涉及使用者提問時,AI 能否查找並呈現網站資訊。
網站經營者應依自己的內容策略,決定哪些用途可以接受。
企業網站需要立刻修改 robots.txt 嗎?
不一定。
這次 OpenAI 宣布的共同偏好機制還在逐步實作階段。對大多數中小企業來說,比起立即修改網站,更重要的是先盤點現有規則與內容使用政策。
可以依照以下情況決定:
| 網站情況 | 建議做法 |
| 希望增加 AI 搜尋曝光 | 先確認沒有誤封鎖 OAI-SearchBot |
| 不希望內容被 OpenAI 用於模型訓練 | 評估使用既有 GPTBot 控制 |
| 希望向多家 AI 公司表達共同偏好 | 關注共同訊號正式實作進度 |
| 網站包含付費教材或會員內容 | 使用登入權限等實際存取控制保護 |
| 不確定網站目前的爬蟲規則 | 先備份、檢查,再決定是否調整 |
如果網站內容具有高度商業價值,例如付費研究報告、會員教學或未公開產品資料,robots.txt 不應被當成唯一保護方式。
更適合搭配帳號權限、伺服器存取控制與必要的法律授權措施。
AI 訓練與 robots.txt 常見問題 FAQ
robots.txt 可以完全禁止 AI 公司使用我的文章嗎?
不能保證。
robots.txt 是機器可讀的規則與偏好表達方式,並不是能強制所有第三方遵守的技術封鎖。
它也不能自動移除過去已取得的資料。
OpenAI 新機制已經正式生效了嗎?
OpenAI 已在 2026 年 10 月 30 日宣布將支援這項共同訊號,但官方說明仍需要未來數個月完成實作。
因此,目前應區分已經提供的 GPTBot 控制方式,以及仍在發展中的共同訓練偏好機制。
新機制能讓所有 AI 公司停止訓練我的內容嗎?
不能。
這項共同格式需要 AI 服務提供者選擇採用並遵守。不是所有 AI 公司都已經參與,也不能視為全球統一的強制規範。
阻止 GPTBot,文章還會出現在 ChatGPT 搜尋嗎?
仍有機會。
OpenAI 將 GPTBot 與 OAI-SearchBot 的用途分開。只限制 GPTBot,並不代表同時禁止搜尋用途。
但網站仍需符合其他搜尋條件,不能保證一定被收錄或引用。
新機制和著作權保護一樣嗎?
不一樣。
robots.txt 的偏好訊號主要向自動化服務表達網站管理者的選擇;著作權涉及作品的法律保護與授權關係。
是否構成侵權,需要依具體使用方式與適用法律判斷,不能僅憑 robots.txt 推定。
網站經營者現在最該做的事
OpenAI 這次的新公告,讓網站內容被 AI 使用的方式有機會變得更容易管理。
但對網站經營者而言,真正重要的問題是:你希望 AI 如何使用你的內容?
如果你的網站依靠專業文章吸引潛在客戶,可能希望保留 AI 搜尋曝光;如果擁有大量原創教材、研究或付費資訊,就需要進一步考慮內容訓練與授權政策。
建議先檢查現有 robots.txt,理解搜尋用途與訓練用途的差異,再決定是否調整設定。
如果你正在學習如何把 AI 用在網站經營、內容行銷或企業自動化,也可以參考海豚 AI 學院課程專區,或從免費試看開始建立 AI 工作應用的基本觀念。
AI 搜尋正在改變讀者發現內容的方式,而網站經營者也開始有更多工具,可以決定自己的內容如何被 AI 使用。
資料來源
OpenAI|Making it easier for websites to express AI training preferences
https://openai.com/index/helping-websites-express-ai-training-preferences/
OpenAI Developers|Overview of OpenAI Crawlers
https://developers.openai.com/api/docs/bots
IETF Datatracker|Machine-Readable Training Preference Signal
https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
