「我們要不要在 robots.txt 把 AI 擋掉？」
這題最常見的錯誤，是把「AI 爬蟲」當成同一種東西。OpenAI、Anthropic、Google 都把爬蟲依用途拆開：一種收集內容拿去訓練模型，另一種讀網頁拿來搜尋和引用。只擋 GPTBot，ChatGPT 搜尋照樣找得到你；把 OpenAI 全擋，你就不會出現在 ChatGPT 的搜尋答案裡。
先講結論：大部分中小企業官網要的是「被 AI 找到、被引用」，搜尋用的爬蟲一定要放行；訓練用的擋不擋，是內容授權的選擇，不影響曝光。
各家 AI 爬蟲，哪個是訓練用、哪個是搜尋用？
以下整理自各家官方文件（2026 年 10 月 5 日查詢）。
| 公司 | 訓練用 | 搜尋／引用用 | 使用者提問時代讀 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | （官方說明不用於訓練） | PerplexityBot | Perplexity-User |
| Google-Extended（只是 robots.txt 代號） | Googlebot | — | |
| Apple | Applebot-Extended（只是 robots.txt 代號） | Applebot | — |
| Meta | meta-externalagent | — | meta-externalfetcher |
幾個官方寫明、容易搞錯的地方：
- OpenAI：每個設定各自獨立。擋了 OAI-SearchBot 的網站，不會出現在 ChatGPT 搜尋的答案裡；擋 GPTBot 只表示內容不要拿去訓練。
- Anthropic：擋 ClaudeBot 代表之後的內容不進訓練資料；擋 Claude-SearchBot 或 Claude-User，可能降低網站在 Claude 搜尋結果裡的能見度。
- Google-Extended 沒有自己的爬蟲，抓網頁的還是 Googlebot，它只是寫在 robots.txt 裡的控制代號，管的是 Gemini 的訓練與回答依據。官方寫明它不影響網站是否出現在 Google 搜尋，也不是排名因素。
- Google 的 AI 摘要屬於 Google 搜尋，控制方式跟一般搜尋一樣，看的是 Googlebot 的 robots.txt 與 nosnippet、noindex 這類標記，擋 Google-Extended 擋不到它。
- Applebot-Extended 同樣不自己爬，擋了它，網頁仍然可以出現在 Apple 的搜尋結果裡。
- 使用者提問時代讀的那一類（ChatGPT-User、Perplexity-User、meta-externalfetcher），官方都寫了可能不照 robots.txt，因為那是使用者要求的讀取。
robots.txt 有哪三種設法？各自的代價是什麼？
robots.txt 放在網站根目錄（https://你的網域/robots.txt）。WordPress 多半由 SEO 外掛產生，可以在外掛設定裡編輯。
範本一：全部放行
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml這是我們官網現在的設定。代價是內容可能被拿去訓練；換到的是各家 AI 搜尋都讀得到你。
範本二：擋訓練，放搜尋
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlOAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 都沒被點名，會走 * 那一組，照常放行。代價有兩個：擋 Google-Extended 也會擋掉 Gemini 拿你的內容當回答依據；meta-externalagent 官方說明除了訓練也用在產品的內容索引。
範本三：全部擋掉
在範本二的清單再加上 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot。代價最大：ChatGPT 搜尋不會出現你，在 Claude 與 Perplexity 的能見度也會降低。而且 Google 的 AI 摘要還是擋不掉，除非連一般搜尋一起犧牲。
適合範本三的，是內容本身就是商品的網站，例如付費媒體。一般公司官網要的是被找到，不建議。
一個常見的坑：寫了專屬區塊，* 那組就不算數
robots.txt 的規則是：爬蟲只看最符合自己名字的那一組，有專屬區塊就不再看 User-agent: *。
所以如果你這樣寫：
User-agent: GPTBot
Allow: /
User-agent: *
Disallow: /wp-admin/GPTBot 會照 Allow: / 走，* 那組的 Disallow: /wp-admin/ 對它無效。想讓某個爬蟲也遵守共通規則，要把規則在它的區塊裡再寫一次。
實測一週：真的來過的 AI 爬蟲是誰？
我們看了官網 9 月 28 日上午到 10 月 5 日上午、整整一週的伺服器記錄，共 19,744 筆請求。每一筆自稱 AI 爬蟲的請求，都拿來源 IP 去對各家公布的 IP 清單（2026 年 10 月 5 日下載）。
| 爬蟲 | 用途 | 自稱 | 對得上官方 IP | 抓了什麼 |
|---|---|---|---|---|
| GPTBot | OpenAI 訓練 | 57 | 17 | 14 次網站地圖、3 次頁面 |
| OAI-SearchBot | ChatGPT 搜尋 | 26 | 8 | 全部是 robots.txt |
| ChatGPT-User | 使用者提問時代讀 | 14 | 3 | 文章頁 |
| meta-externalagent | Meta 訓練與索引 | 68 | 68 | 頁面與網站地圖 |
| ClaudeBot | Anthropic 訓練 | 10 | 0 | — |
| PerplexityBot | Perplexity 搜尋 | 14 | 0 | — |
| CCBot | Common Crawl 資料集 | 7 | 0 | — |
| Googlebot | Google 搜尋 | 53 | 38 | 頁面、網站地圖、robots.txt |
Meta 沒有公布 IP 清單，我們改查來源網路，68 次都來自 Meta 自己的網路。
幾個發現：
- 真的來過的 AI 爬蟲只有 OpenAI 和 Meta 兩家。這一週最勤快的 AI 爬蟲是 Meta 的 meta-externalagent，不是 GPTBot。
- OAI-SearchBot 這一週只讀 robots.txt，8 次全是。它要先從 robots.txt 確認能不能抓，這一步被擋，ChatGPT 搜尋就讀不到你的頁面。
- 自稱 ClaudeBot、PerplexityBot、CCBot 的請求，一次都不是真的。冒名的請求大多來自兩組主機商的 IP，同一組 IP 輪流掛上 GPTBot、PerplexityBot、Googlebot 等名字；其餘是我們自己測試網站時掛的身分。還有自稱 xAI、DeepSeek 爬蟲的請求，在找
.git目錄和金鑰檔，那是掃描程式。
這說明了 robots.txt 的極限：它是給守規矩的爬蟲看的告示，不是門鎖。冒名的程式根本不會讀它。
robots.txt 之外，還要看哪兩層？
- CDN 的 AI 爬蟲開關：Cloudflare 從 2025 年 7 月 1 日起，新加入的網域在設定時就會被問要不要讓 AI 爬蟲進來，預設是擋。robots.txt 寫放行、CDN 擋掉，爬蟲一樣進不來。網站前面有 CDN 的，兩邊要一起看。
- 真正要擋，在伺服器或 CDN 層做：依各家公布的 IP 清單放行或封鎖，比只看名字可靠。名字誰都能冒用。
中小企業該怎麼選？
- 想被 ChatGPT、Claude、Perplexity 找到、引用：OAI-SearchBot、Claude-SearchBot、PerplexityBot 一定要放行
- 不想讓內容拿去訓練：用範本二，只點名訓練用的爬蟲
- 改完 robots.txt，到 CDN 後台確認 AI 爬蟲的設定沒有跟你打架
- 想知道誰真的來過：看伺服器記錄，並核對官方 IP 清單
想請人幫你檢查 robots.txt、CDN 設定與伺服器記錄裡真正來過的 AI 爬蟲，可以到聯絡頁留言。
常見問題
robots.txt 擋了 GPTBot，ChatGPT 搜尋還找得到我嗎？
找得到。OpenAI 官方說明各爬蟲的設定互相獨立：GPTBot 管訓練，ChatGPT 搜尋用的是 OAI-SearchBot。只要沒擋 OAI-SearchBot，網站仍可以出現在 ChatGPT 搜尋的答案裡。
擋 Google-Extended 可以讓網站不出現在 Google AI 摘要嗎？
不行。Google-Extended 管的是 Gemini 的訓練與回答依據，官方寫明它不影響網站出現在 Google 搜尋。AI 摘要屬於 Google 搜尋，要限制只能用 nosnippet、noindex 這類標記，一般搜尋結果也會一起受影響。
robots.txt 寫了，AI 爬蟲一定會照做嗎？
不一定。robots.txt 是給爬蟲的告示，不是存取控制。使用者提問時觸發的讀取（例如 ChatGPT-User、Perplexity-User）官方說明可能不照 robots.txt，冒名的程式更不會理它。要強制封鎖，得在伺服器或 CDN 層依 IP 處理。
怎麼確認來的是真的 AI 爬蟲？
把伺服器記錄裡的來源 IP，和各家公布的 IP 清單比對。我們官網一週的記錄裡，自稱 OpenAI 爬蟲的請求有 97 次，對得上官方 IP 的只有 28 次；自稱 ClaudeBot、PerplexityBot 的請求，一次都不是真的。
最後更新：