Cloudflare 9 月 15 日起把 Googlebot 視為 AI 爬蟲，你的網站要檢查這個設定
三句話看懂這次改動
- Cloudflare 從 2026 年 9 月 15 日起，把 Googlebot、Bingbot 同時歸類為「搜尋」與「AI 訓練」兩用爬蟲。
- 影響的只有「曾經開啟封鎖 AI 爬蟲設定」的網站，這類設定會連 Google、Bing 一起擋掉，可能讓網站從搜尋結果消失。
- 沒開過這個設定的網站不受影響，但值得花五分鐘進 Cloudflare 後台確認一次，順手用 Search Console 驗證。
這篇文章會談什麼
Cloudflare 到底改了什麼
很多網站是用 Cloudflare 當前面那一層（負責加速、資安防護、快取管理）。這一年多來，Cloudflare 給了一個很受歡迎的開關：「封鎖 AI 爬蟲」，讓網站主可以一鍵擋掉 ChatGPT、Claude 這類 AI 拿內容去訓練模型的爬蟲。
問題出在「一鍵」這件事本身。過去這個開關把所有 AI 爬蟲當成同一類，但現實是，同一隻爬蟲常常身兼多職。從 2026 年 9 月 15 日起，Cloudflare 正式把 Googlebot、Bingbot 這種搜尋引擎爬蟲，重新歸類為「搜尋 ＋ AI 訓練」兩用爬蟲。
這句話翻成白話：你原本以為自己只擋掉了 AI 訓練，但因為 Google 和 Bing 的爬蟲同時被貼上「訓練」這個標籤，只要你的設定是「擋掉訓練類爬蟲」，系統會採用最嚴格的那條規則，把 Google、Bing 一起擋在門外。爬蟲進不來，網站就無法被重新索引，排名與收錄會慢慢掉，嚴重的話等於從搜尋結果上消失。
Cloudflare 同時把原本的單一開關，換成三個更細的分類，讓網站主可以分開決定「搜尋」「代理」「訓練」各自要不要放行。方向是好的，但轉換過程中，那些沿用舊「封鎖 AI 爬蟲」開關的網站，正是最容易被波及的一群。
誰會受影響，誰不會
先講最重要的一句，避免看到標題就緊張：如果你從來沒有開過「封鎖 AI 爬蟲」這個設定，這次改動不會讓你的網站消失。你的 Google 收錄一切照舊。
真正要留意的是下面這幾種情況：
- 你或前一手廠商曾經在 Cloudflare 點開「封鎖 AI 爬蟲」開關。這是最直接的風險來源，9 月 15 日之後，這個開關會連同 Google、Bing 一起擋。
- 你的網站是近期才新加進 Cloudflare 的。Cloudflare 對「新加入的網域」啟用了較嚴格的預設值，在有廣告的頁面上會預設擋掉訓練與代理類爬蟲，設定前值得先確認。
- 你不確定當初是誰，在什麼時候設定的。只要不確定，就該親自進後台看一眼，不要憑印象。
換句話說，這不是「所有網站都會出事」的全面警報，而是「有開這個特定設定的網站，要趕在生效前檢查一次」。分清楚這件事，才不會白白緊張，也才不會該查的時候沒查。
三種爬蟲分類的差別
要判斷自己該放行什麼，該擋什麼，得先知道 Cloudflare 現在怎麼分。以下是這三類爬蟲的差別：
| 分類 | 在做什麼 | 該不該放行 |
|---|---|---|
| 搜尋（Search） | 收錄並索引你的內容，之後用來回答搜尋。就是 Google、Bing 幾十年來在做的事。 | 幾乎都要放行，這是你被找到的命脈。 |
| 代理（Agent） | 使用者在跟 AI 對話當下，AI 即時去你的網站抓一頁資料回來回答。 | 看策略，想爭取 AI 問答曝光就放行。 |
| 訓練（Training） | 大量收集內容去訓練或微調模型，當下沒有對應到某個使用者的需求。 | 看意願，不想被拿去訓練可以擋。 |
麻煩就在 Google 和 Bing 同時屬於「搜尋」與「訓練」兩類。當一隻爬蟲橫跨多類，Cloudflare 會套用最嚴格的那條規則，所以「我只想擋訓練」的設定，會誤傷到「搜尋」這條你最不想斷的線。這也是為什麼舊的一鍵開關會出事，新的分類制則讓你能把「訓練」擋掉，同時保住「搜尋」。
三步檢查你的網站有沒有風險
不必憑感覺，照下面三步做，五分鐘就能確認：
- 進 Cloudflare 後台看那個開關。登入 Cloudflare，選到你的網域，點左側的「安全性（Security）」，找跟 AI 爬蟲／機器人相關的設定，確認「封鎖 AI 爬蟲（Block AI bots／AI Scrapers & Crawlers）」是不是被打開了。如果是關閉的，你這一關就安全；如果是開的，改用新的三分類，只擋「訓練」並保留「搜尋」放行。
- 用 Google Search Console 實測一次。這是最不會騙人的驗證方式。到 Search Console 用「網址審查（URL Inspection）」貼上你網站任一頁網址，按「測試線上網址」。如果 Google 能正常抓取，代表 Googlebot 沒被擋；若顯示無法擷取或被拒，就要回頭查 Cloudflare 設定。
- 順手看一下 robots.txt。在瀏覽器打開「你的網域／robots.txt」，確認裡面沒有把整站對搜尋引擎封鎖的規則（例如對 Googlebot 寫了 Disallow: /）。這跟 Cloudflare 的設定是兩回事，但一起檢查最保險。
小提醒：三步做完，如果三個地方都正常，就不用再動任何設定，維持現狀即可。改動線上設定前，先記下你原本的狀態，萬一改錯還能還原。
我們把自己管理的網域都查了一遍
看到這個消息，我們沒有只是轉貼，而是實際把手上管理的每一個網域，逐一進 Cloudflare 後台確認了一次。結果是：這些網域都沒有開啟封鎖 AI 爬蟲的設定，搜尋引擎爬蟲一律正常放行，robots.txt 也沒有全站封鎖搜尋引擎的規則。也就是說，這批網站在 9 月 15 日之後不受這次改動影響。
我們把這件事寫出來，不是要嚇人，而是想示範一個做法：看到這類「可能影響 SEO」的平台變動，最踏實的反應不是焦慮，也不是無視，而是花幾分鐘去查自己實際的設定狀態。查完就有答案，沒查才會一直懸著。
不必恐慌，但要看對地方
- 「我的網站是不是要從 Google 消失了？」只有在你開過封鎖 AI 爬蟲設定，而且放著不改的情況下才有這個風險。沒開過的網站不受影響。
- 「那我乾脆把所有 AI 爬蟲都放行就沒事了？」不必走極端。這次改動的重點是「搜尋」與「訓練」被拆開了，你可以只放行搜尋，繼續擋訓練，兩件事不再綁在一起。
- 「我沒用 Cloudflare 要緊嗎？」這次的設定變動是 Cloudflare 平台上的事。沒用 Cloudflare 的網站不受這個開關影響，但用 Search Console 定期確認網站能被正常抓取，本來就是好習慣。
不確定自己的網站有沒有踩到，我們可以幫你看
這次的 Cloudflare 改動，本質上是一個提醒：搜尋可見度會被一些你以為無關的技術設定悄悄影響，而這些設定往往不是你當初親手設的。如果你不確定自己的網站有沒有被擋、Google 收錄正不正常，或想有人幫你把整站的技術 SEO 體檢一遍，這正是 注意力行銷 在做的事，用實測數據找出問題，而不是讓你在後台一個一個開關猜。
常見問題 FAQ
Cloudflare 這次改動從哪一天開始生效？
2026 年 9 月 15 日起，Cloudflare 把 Googlebot、Bingbot 重新歸類為同時具備「搜尋」與「AI 訓練」用途的兩用爬蟲，並把原本單一的封鎖開關換成搜尋、代理、訓練三種可分開設定的分類。
我的網站會不會因此從 Google 搜尋結果消失？
只有在你的 Cloudflare 曾經開啟「封鎖 AI 爬蟲」設定，且沒有調整的情況下才有這個風險。因為 Googlebot 被歸為兩用爬蟲，擋掉訓練類會連搜尋一起擋，網站無法被重新索引。若你從未開過這個設定，則不受影響。
我要去哪裡確認自己有沒有被擋？
兩個地方交叉確認：一是登入 Cloudflare 後台，到你的網域「安全性（Security）」設定裡看「封鎖 AI 爬蟲」是否開啟；二是用 Google Search Console 的「網址審查」功能實測任一頁網址，看 Google 能不能正常抓取。兩邊都正常就安全。
我想擋 AI 訓練，又不想影響 Google 收錄，做得到嗎？
做得到，而且這正是這次新分類的用意。改用 Cloudflare 新的三分類設定，把「訓練」設為封鎖，把「搜尋」設為放行，就能只擋掉拿去訓練模型的爬蟲，同時保住 Google、Bing 的搜尋收錄。
參考來源
- Cloudflare 官方部落格 — Your site, your rules: new AI traffic options for all customers
- Search Engine Journal — Cloudflare's AI Crawler Rules Can Block Googlebot
- Help Net Security — Cloudflare changes AI crawler access rules
- Google Search Console（網址審查工具）
作者：Robbie｜注意力行銷