主机层 SEO 诊断 · 01
Bot Fight Mode 封了 Googlebot？免费版无法设置例外，这就是问题
你开 Bot Fight Mode 是想挡坏 bot。但 Cloudflare 免费版的设计是「一刀切、无法设置例外」——连 Googlebot 都可能被挑战，而你没有办法用 WAF 规则放行他。
👀 一、客户实际见到的现象
- Search Console「网址审查 → 测试实际网址」见到的 HTML 只有一小段挑战页，不是你的内容
- 收录页数无故下跌，但网站明明没有改过任何东西
- 「已探索 – 目前未建立索引」数量暴增
- Cloudflare → Security → Analytics → Events，见到大量请求被标记
Bot Fight Mode - 主机 access log 见到 Googlebot 的 IP 收到 403／503，或者回应 0 bytes
如果你中了两项以上，不使再猜——直接做下面的自查。
🧨 二、为什么免费版特别容易出事（官方文件已写明）
Cloudflare 对 Bot Fight Mode 的说明有几个关键限制，呢几点直接决定了你的 SEO 风险：
| 设计 | 对 SEO 的含义 |
|---|---|
| 用 CPU-intensive challenge（要求访客做运算） | 不执行 JavaScript 的爬虫永远过不到 |
| 保护整个网域，没有路径限制 | 连你的文章页、产品页都一齐被挑战 |
| 不可以用 WAF 自订规则或 Page Rules bypass | 你没有办法单独放行 Googlebot |
| JavaScript Detections 自动开启、不可关闭 | 额外一层 JS 检查，爬虫更难通过 |
换句话讲：Bot Fight Mode 是一个「全有或全无」的开关。想有例外，一定要 Super Bot Fight Mode（Pro 或以上），因为他行 Ruleset Engine，可以用 Skip 规则放行指定流量。
🕒 三、3 分钟自查（不使等 SEO 公司报价）
第 1 步：看 Google 见到什么
Search Console → 网址审查 → 贴上你最重要的一页 → 测试实际网址 → 看「HTML」分页。
见到完整内容 = 正常；见到空白或者一段 script = 被挑战。
第 2 步：用指令假扮 Googlebot
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://你的网域.com/注意：这个测试只证明「UA 层面」的反应，不等于 Google 真实 IP 的体验，但已经足以发现一刀切规则。
第 3 步：在 Cloudflare 找证据
Dashboard → Security → Analytics → Events，用 Service 筛选，看有没有 Bot Fight Mode。再筛 User Agent 含 Googlebot，如果两者同时出现，就是实锤。
第 4 步：对 Google 官方 IP
Google 公开 Googlebot 的 IP 段（googlebot.json）。如果被挑战的 IP 不在名单内，可能是冒充者——挡得好；如果在名单内，就是你挡错了真 Googlebot。
📉 四、对 SEO 同 GEO 的实际损失
- 索引停滞：Googlebot 每次嚟都拎到挑战页，等于白行一次，新内容上得好慢甚至不上
- Crawl budget 被浪费：你的网站每秒只可以承受有限的抓取，全部用在挑战页上面
- AI 爬虫全灭：GPTBot、ClaudeBot、PerplexityBot 都不执行 JavaScript，一律见不到你
- 排名不会即刻跌，但会慢慢跌：因为 Google 手上的资料越嚟越旧
✅ 五、正确设定（不等于不保护）
| 设定项 | 免费 Bot Fight Mode | Super Bot Fight Mode（建议） |
|---|---|---|
| 可否例外放行 | ❌ 完全不可以 | ✅ WAF 自订规则 + Skip |
| Verified bots（Googlebot 等） | 无法选择 | 设定为 Allow |
| Definitely automated | 全球挑战 | 设定为 Managed Challenge（不好用 Block） |
| 静态资源保护 | 没有 | 可开（图片／CSS 被盗用时有用） |
| 出事后处理 | 只可以整个关闭 | 加一条 Skip 规则即刻解决 |
实务建议：如果只是想挡扫描器同垃圾 bot，用 WAF Rate Limiting（每 IP 每分钟 60 次）已经足够，而且不会误杀搜寻引擎——这个正正是我们帮客户做的设定。
🛠️ 六、Timway 帮你做的三步
- 查——核对 Cloudflare 设定、抓取日志同 Search Console 数据，确认哪个爬虫被挡
- 改——按你的方案关闭或降级 Bot Fight Mode，改用 WAF 规则 + Rate Limiting + 爬虫白名单
- 验——用真实 UA 同 IP 段实测，确认 Googlebot、GPTBot、PerplexityBot 全部返到 200，再交报告
怀疑 Bot Fight Mode 封了你的 Googlebot？
打一个电话，我们帮你查 Cloudflare 设定、对抓取日志，确认搜寻引擎同 AI 爬虫是不是真是见得到你。
Timway 添达 · 讲「Bot Fight Mode」即可