4 天、11,619 筆請求,其中 llms.txt 被讀了 4 次。這 4 次裡,沒有一次是 AI 爬蟲。
這是我們自己官網的伺服器記錄。同一段時間,OpenAI 的爬蟲來了 20 次,抓的是 robots.txt、網站地圖和文章頁,就是沒碰 llms.txt。
所以 llms.txt 到底要不要做?先講我們的結論:可以做,成本很低;但不要期待它帶來什麼,更不要為它付費。
llms.txt 是什麼?
它是一份放在網站根目錄的 Markdown 檔,用條列的方式告訴 AI「這個網站是誰、重要的頁面在哪」。提案者是 Jeremy Howard,2024 年 9 月提出,2026 年 8 月更新到第二版。
提案自己寫得很清楚,這是一份提案,不是標準。它預期的用法也不是讓爬蟲來收錄,而是當 AI 代理替使用者辦事、需要了解某個網站時,「需要的時候才讀」。目前用得最多的是軟體文件網站。
Google 怎麼看 llms.txt?
Google 的態度很明確。搜尋中心的生成式 AI 最佳化指南寫明:以 Google 搜尋來說,可以忽略「建立不必要的 AI 文字檔案(例如 llms.txt)」這類做法。
2026 年 6 月 15 日,Google 又補了一段說明:Google 搜尋不需要這些檔案,它對曝光度與排名既沒有正面也沒有負面影響;如果你想為其他會用到它的服務保留,也沒問題。
也就是說,在 Google 這邊,做了不加分,不做不扣分。
實測結果:AI 爬蟲真的會讀 llms.txt 嗎?
我們在 9 月 28 日上午開啟 llms.txt,內容是公司簡介加上 30 個頁面連結,然後看伺服器記錄到 10 月 2 日上午,前後 4 天。
| 項目 | 結果 |
|---|---|
| 全站請求 | 11,619 筆 |
| llms.txt 被讀取 | 4 次 |
| 其中 AI 爬蟲 | 0 次 |
| 同期 OpenAI 爬蟲到訪 | 20 次 |
| 同期 Googlebot 到訪 | 13 次 |
讀 llms.txt 的 4 次,1 次是我們自己開的,1 次是資料蒐集公司的爬蟲,另外 2 次看起來是一般瀏覽器。
OpenAI 那 20 次,我們逐一對過 OpenAI 公布的 IP 清單:GPTBot 11 次,其中 8 次抓網站地圖;OAI-SearchBot 6 次,全部在讀 robots.txt;ChatGPT-User 3 次,直接讀文章頁。
一個意外的發現:假爬蟲比真爬蟲多
記錄裡自稱 GPTBot、OAI-SearchBot、ChatGPT-User 的請求總共 69 次,對得上官方 IP 的只有 20 次。其餘 49 次,多半是我們自己測試網站時掛上的爬蟲身分,還有來源不明的程式。
這提醒我們一件事:只看記錄裡的名稱去數「AI 爬蟲來了幾次」,數字會嚴重灌水。網路上不少「llms.txt 被 AI 讀取」的截圖,如果沒有核對 IP,參考價值有限。
4 天的記錄能說明什麼、不能說明什麼?
4 天很短,我們的網站流量也不大,這不能證明「AI 永遠不讀 llms.txt」。它能說明的是:在這 4 天裡,實際到訪的 AI 爬蟲照著既有的路走,先看 robots.txt 與網站地圖,再抓頁面本身。
這和提案的設計其實不衝突。llms.txt 本來就不是給爬蟲定期收錄的,而是給代理在需要時查閱。只是對一般企業官網來說,那個「需要的時候」目前很少發生。
我們會繼續開著,累積更長的記錄之後再更新這篇。
中小企業該不該做 llms.txt?
- 如果你的網站用 WordPress,SEO 外掛多半已內建這個功能,勾選就能開,花不到十分鐘,開著無妨
- 如果有人報價要你為 llms.txt 另外付費,可以先不用
- 真正影響 AI 讀不讀得到你的,是 robots.txt 有沒有擋、內容是不是直接寫在網頁裡、網站地圖有沒有更新
- 想知道 AI 爬蟲有沒有來,請看伺服器記錄,並且核對 IP
想請人幫你看伺服器記錄裡真正來過的 AI 爬蟲,可以到聯絡頁留言。
常見問題
llms.txt 是什麼?
llms.txt 是放在網站根目錄的 Markdown 檔,用來向 AI 說明網站是誰、重要頁面在哪裡。它是 2024 年提出的提案,不是正式標準。
做了 llms.txt,Google 排名或 AI 摘要會比較好嗎?
不會。Google 官方說明,Google 搜尋不需要 llms.txt,它對曝光度與排名沒有正面或負面影響。
AI 爬蟲真的會來讀 llms.txt 嗎?
我們官網開啟後的 4 天裡,OpenAI 的爬蟲到訪 20 次,沒有一次讀取 llms.txt;它們抓的是 robots.txt、網站地圖與文章頁。觀察期很短,我們會持續記錄。
怎麼確認來的是真的 AI 爬蟲?
不能只看名稱。要把請求的來源 IP 和廠商公布的 IP 清單核對。我們的記錄裡,自稱 OpenAI 爬蟲的請求有 69 次,對得上官方 IP 的只有 20 次。
最後更新: