Cloudflare 默认不会限制 Google 机器人的访问,但如果你启用了 速率限制(Rate Limiting)、WAF 规则 或 Bot Fight Mode,可能会影响 Googlebot 抓取你的页面。
✅ 方法 1:在 Cloudflare 允许 Googlebot
- 登录 Cloudflare 仪表盘
- 选择你的网站
- 进入 “安全”(Security) > “WAF”(Web Application Firewall)
- 选择 “工具”(Tools)
- 在 “IP 访问规则”(IP Access Rules)中添加 Googlebot 的 IP:
- 类型(Type):
IP
或IP Range
- 值(Value):
Googlebot 的 IP 段
(见下文) - 操作(Action):
允许(Allow)
- 国家(Country):
Global
(全局)
- 类型(Type):
Googlebot 的官方 IP 段(定期更新):
👉 Googlebot 官方 IP 地址
✅ 方法 2:调整速率限制(Rate Limiting)
如果你在 速率限制 中误拦了 Googlebot,可以创建一个规则让 Googlebot 访问不受限制。
操作步骤
- 进入 Cloudflare 仪表盘 > 安全(Security) > WAF
- 选择 “速率限制”(Rate Limiting Rules)
- 创建新的规则:
- 条件(If):
User-Agent
匹配"Googlebot"
- 操作(Action):
绕过(Bypass)
- 条件(If):
这样,Googlebot 访问你的网站时不会被速率限制拦截。
✅ 方法 3:在防火墙规则(Firewall Rules)中允许 Googlebot
如果你启用了 Cloudflare 的防火墙规则(WAF 规则),可能会影响 Googlebot 访问。可以创建一个新的防火墙规则,让 Googlebot 完全绕过限制。
操作步骤
- 进入 Cloudflare 仪表盘 > 安全(Security) > WAF
- 选择 “防火墙规则”(Firewall Rules)
- 创建新规则
- 规则名称: 允许 Googlebot
- 条件(When incoming requests match…):
- 字段(Field):
User-Agent
- 运算符(Operator):
包含(contains)
- 值(Value):
"Googlebot"
- 字段(Field):
- 执行(Then…):
- 动作(Action):
绕过(Bypass)
- 选择
WAF
、速率限制
、JS 挑战
这些检查项
- 动作(Action):
点击 保存,这样 Googlebot 就不会再受 Cloudflare 防火墙的影响。
✅ 方法 4:关闭 Bot Fight Mode
Cloudflare Bot Fight Mode(自动拦截机器人)可能会影响 Googlebot,建议关闭:
- 进入 Cloudflare 仪表盘
- 选择 “安全”(Security) > “Bot Fight Mode”
- 关闭 Bot Fight Mode
🛠 如何测试 Googlebot 是否被拦截?
你可以用 Google 官方工具测试:
- Google Search Console > URL 检查工具
- 或者用
curl
模拟 Googlebot:curl -A "Googlebot" -I https://yourwebsite.com
如果返回
403 Forbidden
,说明 Googlebot 仍然被 Cloudflare 限制,需要调整设置。
🔹 总结
✅ 方法 1:在 IP 访问规则 中允许 Googlebot IP
✅ 方法 2:在 速率限制 规则中绕过 Googlebot
✅ 方法 3:在 防火墙规则 中放行 Googlebot
✅ 方法 4:关闭 Bot Fight Mode 以防误拦 Googlebot
这样,你的网站就可以完全开放 Googlebot 访问,同时仍然保持 Cloudflare 对其他恶意机器人的防御 🚀