OpenAI 新增 AI 訓練拒絕機制!robots.txt 怎麼設定?網站會不會因此從 ChatGPT 搜尋消失?

AI工具教學

文章重點

OpenAI 宣布支援跨平台 AI 訓練偏好設定,本文教你區分 AI 訓練與搜尋收錄,並透過 robots.txt 範例保護網站內容、避免誤傷 SEO。

你的網站文章、商品介紹或教學內容,可能被 AI 公司拿去訓練模型嗎?如果不希望網站內容成為 AI 訓練資料,又想讓使用者透過 ChatGPT 搜尋找到你的網站,該怎麼辦?

OpenAI 在 2026 年 10 月 30 日宣布,將支援一種新的 AI 訓練偏好設定機制,讓網站管理者可以透過 robots.txt,向多家參與的 AI 公司表達是否同意內容被用來訓練生成式 AI。

這項變化對網站經營者、內容創作者、企業行銷人員與 SEO 工作者都有影響。

但有個關鍵必須先釐清:拒絕 AI 訓練,不等於拒絕 ChatGPT 搜尋收錄。 兩者可以分開設定,也不需要為了保護內容就把所有 AI 爬蟲全部封鎖。

本文會用簡單範例說明新機制是什麼、如何設定,以及哪些做法可能讓網站失去 AI 搜尋曝光機會。

OpenAI 的 AI 訓練拒絕機制是什麼?

這次更新的核心,是讓網站管理者能使用共同的訊號,表達自己對 AI 訓練的選擇。

過去,如果網站不希望某些 AI 公司將內容用於模型訓練,通常需要辨識不同公司的爬蟲名稱,再分別設定規則。

例如 OpenAI 有 GPTBot,其他 AI 公司則可能使用自己的爬蟲。

當 AI 服務越來越多,網站管理者就需要維護更多設定。

OpenAI 最新宣布支援的機制,建立在 IETF(網際網路工程任務組)AI Preferences 相關標準化工作的基礎上。

它的概念是:網站只要透過共同格式表達 AI 訓練偏好,採用該機制的 AI 服務就能辨識這項選擇。

這次使用的共同識別名稱為:

__usage_ai-training

網站可以透過 robots.txt 中的設定,表達哪些內容不希望被用於生成式 AI 模型訓練。

不過,這項標準目前仍在草案階段。OpenAI 表示預計在未來數個月實作,並會再公布後續細節。

因此,不能把這次公告理解成所有 AI 公司都已經支援,或所有網站設定都已立即生效。

robots.txt 是什麼?為什麼 AI 公司會看這個檔案?

robots.txt 是網站上的一個文字檔案,用來向自動化爬蟲表達網站存取規則。

如果你的網站網址是:

https://example.com

robots.txt 通常位於:

https://example.com/robots.txt

裡面可以放置不同爬蟲的規則,例如哪些路徑允許存取、哪些不希望被爬取。

你可以把它想成網站入口的指示牌,告訴自動化程式哪些區域有使用限制。

但要注意,robots.txt 不是密碼保護,也不是能強制阻止所有程式存取的安全防護措施。不遵守規則的爬蟲仍可能無視設定。

這次的新機制有一個重要差別:它利用 robots.txt 表達的是內容使用偏好,不單純是爬蟲能不能進入網站。

AI 訓練與 ChatGPT 搜尋有什麼不同?

如果你正在經營部落格、品牌官網或電商網站,這是最值得先了解的部分。

OpenAI 官方目前區分了不同用途的爬蟲,包括 GPTBot 與 OAI-SearchBot。

比較項目GPTBotOAI-SearchBot
主要用途蒐集可能用於模型訓練的內容讓網頁有機會出現在 ChatGPT 搜尋結果
拒絕後的影響表達不希望內容被用於模型訓練網頁可能無法出現在 ChatGPT 搜尋回答中
是否可以分開設定可以可以
網站經營者需考量內容授權與訓練使用搜尋曝光與流量

例如你經營一家線上課程網站,定期發布 AI 工具教學。

你可能希望文章能被 ChatGPT 搜尋找到,因為讀者有機會因此進入你的網站。

但你不一定希望整個網站的原創文章被拿去訓練模型。

這時候,就可以考慮允許搜尋用途的爬蟲,同時對模型訓練提出限制。

OpenAI 官方也明確說明,允許 OAI-SearchBot、拒絕 GPTBot 是可以並存的做法。

不過,允許搜尋爬蟲不代表網站一定會被 ChatGPT 引用或推薦,搜尋結果仍取決於其他系統判斷。

不想讓 AI 訓練網站內容,robots.txt 怎麼設定?

以下分成兩種方式:已經可依 OpenAI 官方文件使用的爬蟲控制,以及新公布、仍待逐步實作的共同訓練偏好機制。

方法一:透過 GPTBot 設定拒絕 OpenAI 訓練

如果你希望目前就向 OpenAI 表達不願讓網站內容用於生成式 AI 模型訓練,可以參考官方的 GPTBot 控制方式。

在 robots.txt 中加入:

User-agent: GPTBot
Disallow: /

其中:

  1. User-agent: GPTBot 指定 OpenAI 的 GPTBot 爬蟲。
  2. Disallow: / 表示不允許該爬蟲抓取網站路徑。

這項設定不會自動封鎖所有其他 AI 公司的爬蟲,也不等於要求搜尋引擎將網站從搜尋結果移除。

方法二:使用新公布的共同 AI 訓練偏好訊號

根據 2026 年 10 月 30 日公布的 IETF 草案,網站可以透過下列格式表達不希望整站內容被用於 AI 訓練:

User-agent: __usage_ai-training
Disallow: /

這裡的 __usage_ai-training 是表達使用偏好的識別名稱,不是某一家 AI 公司的真實爬蟲名稱。

如果你只希望限制部分內容,草案也提供了依路徑設定例外的方式。

例如:

User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

這代表網站表達不希望整站內容用於 AI 訓練,但對 /press-kit/ 路徑表達允許的偏好。

特別注意:這項共同機制仍是草案,而且 OpenAI 尚未完成全面實作。 上述程式碼是草案規格示範,不能保證目前所有 AI 服務都會遵守,也不應直接取代已經生效的個別爬蟲控制。

想保留 ChatGPT 搜尋曝光,該怎麼設定?

假設你的目標是:

「我希望網站有機會出現在 ChatGPT 搜尋結果,但不希望 OpenAI 使用網站內容訓練生成式 AI。」

可以參考下面的設定:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

第一組規則用來表達拒絕 GPTBot 抓取內容作為生成式 AI 模型訓練用途。

第二組規則則允許 OAI-SearchBot 存取網站,保留被 ChatGPT 搜尋服務發現的機會。

未來若要同時表達跨平台 AI 訓練偏好,可以在確認最新規格與平台支援狀態後,再評估加入共同訊號。

不過,這只是簡化示範。

如果網站原本已經有 robots.txt,不能直接把舊內容全部刪除並換成上述規則,否則可能影響原有搜尋引擎與其他服務的爬取設定。

WordPress 網站也能設定嗎?

可以,但實際操作方式會依網站主機、SEO 外掛與管理權限而不同。

如果你使用 WordPress,可以先用瀏覽器開啟自己網站的 /robots.txt,確認目前提供了哪些規則。

接著檢查網站管理後台或 SEO 外掛是否支援編輯 robots.txt。

修改前建議先備份原本內容,再確認以下事項:

  1. 原有的 Google 等搜尋引擎規則是否保留。
  2. 是否誤將重要文章或商品頁面設為禁止爬取。
  3. 新增的 GPTBot 與 OAI-SearchBot 規則是否正確。
  4. robots.txt 是否能正常公開讀取。

部分 WordPress 網站的 robots.txt 可能由系統動態產生,不一定有可以直接編輯的實體檔案。

如果無法修改,建議請網站工程師或主機管理人員協助,不要隨意更動伺服器設定。

封鎖 AI 爬蟲,會讓網站 SEO 排名下降嗎?

需要分開看待傳統搜尋引擎 SEO 與 AI 搜尋曝光。

拒絕 GPTBot 訓練用途,本身不等於拒絕 Google 搜尋收錄。

GPTBot 並不是 Google 搜尋的 Googlebot,也不負責一般 Google 網頁搜尋的索引管理。

因此,不能直接推論只要封鎖 GPTBot,Google 排名就會下降。

但是,如果你封鎖的是 OAI-SearchBot,情況就不同。

OpenAI 官方文件指出,不允許 OAI-SearchBot 的網站,通常不會出現在 ChatGPT 搜尋回答中,但仍可能以導覽連結形式出現。

對希望透過 AI 搜尋取得新訪客的網站來說,這是一項需要衡量的取捨。

另一個重要觀念是,AI 搜尋曝光與 AI 模型訓練不是同一件事。

模型訓練涉及內容如何用於改善 AI 的能力;搜尋曝光則涉及使用者提問時,AI 能否查找並呈現網站資訊。

網站經營者應依自己的內容策略,決定哪些用途可以接受。

企業網站需要立刻修改 robots.txt 嗎?

不一定。

這次 OpenAI 宣布的共同偏好機制還在逐步實作階段。對大多數中小企業來說,比起立即修改網站,更重要的是先盤點現有規則與內容使用政策。

可以依照以下情況決定:

網站情況建議做法
希望增加 AI 搜尋曝光先確認沒有誤封鎖 OAI-SearchBot
不希望內容被 OpenAI 用於模型訓練評估使用既有 GPTBot 控制
希望向多家 AI 公司表達共同偏好關注共同訊號正式實作進度
網站包含付費教材或會員內容使用登入權限等實際存取控制保護
不確定網站目前的爬蟲規則先備份、檢查,再決定是否調整

如果網站內容具有高度商業價值,例如付費研究報告、會員教學或未公開產品資料,robots.txt 不應被當成唯一保護方式。

更適合搭配帳號權限、伺服器存取控制與必要的法律授權措施。

AI 訓練與 robots.txt 常見問題 FAQ

robots.txt 可以完全禁止 AI 公司使用我的文章嗎?

不能保證。

robots.txt 是機器可讀的規則與偏好表達方式,並不是能強制所有第三方遵守的技術封鎖。

它也不能自動移除過去已取得的資料。

OpenAI 新機制已經正式生效了嗎?

OpenAI 已在 2026 年 10 月 30 日宣布將支援這項共同訊號,但官方說明仍需要未來數個月完成實作。

因此,目前應區分已經提供的 GPTBot 控制方式,以及仍在發展中的共同訓練偏好機制。

新機制能讓所有 AI 公司停止訓練我的內容嗎?

不能。

這項共同格式需要 AI 服務提供者選擇採用並遵守。不是所有 AI 公司都已經參與,也不能視為全球統一的強制規範。

阻止 GPTBot,文章還會出現在 ChatGPT 搜尋嗎?

仍有機會。

OpenAI 將 GPTBot 與 OAI-SearchBot 的用途分開。只限制 GPTBot,並不代表同時禁止搜尋用途。

但網站仍需符合其他搜尋條件,不能保證一定被收錄或引用。

新機制和著作權保護一樣嗎?

不一樣。

robots.txt 的偏好訊號主要向自動化服務表達網站管理者的選擇;著作權涉及作品的法律保護與授權關係。

是否構成侵權,需要依具體使用方式與適用法律判斷,不能僅憑 robots.txt 推定。

網站經營者現在最該做的事

OpenAI 這次的新公告,讓網站內容被 AI 使用的方式有機會變得更容易管理。

但對網站經營者而言,真正重要的問題是:你希望 AI 如何使用你的內容?

如果你的網站依靠專業文章吸引潛在客戶,可能希望保留 AI 搜尋曝光;如果擁有大量原創教材、研究或付費資訊,就需要進一步考慮內容訓練與授權政策。

建議先檢查現有 robots.txt,理解搜尋用途與訓練用途的差異,再決定是否調整設定。

如果你正在學習如何把 AI 用在網站經營、內容行銷或企業自動化,也可以參考海豚 AI 學院課程專區,或從免費試看開始建立 AI 工作應用的基本觀念。

AI 搜尋正在改變讀者發現內容的方式,而網站經營者也開始有更多工具,可以決定自己的內容如何被 AI 使用。

資料來源

OpenAI|Making it easier for websites to express AI training preferences

https://openai.com/index/helping-websites-express-ai-training-preferences/

OpenAI Developers|Overview of OpenAI Crawlers

https://developers.openai.com/api/docs/bots

IETF Datatracker|Machine-Readable Training Preference Signal

https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/

AI線上諮詢 解答你所有AI學習問題

專員將在收到訊息後盡速為您服務,謝謝。

加入 LINE 官方帳號