首页 云服务器VPS cloudflare那么如何开放google机器人的完全访问呢 ,不限制速率等

cloudflare那么如何开放google机器人的完全访问呢 ,不限制速率等

Cloudflare 默认不会限制 Google 机器人的访问,但如果你启用了 速率限制(Rate Limiting)、…

Cloudflare 默认不会限制 Google 机器人的访问,但如果你启用了 速率限制(Rate Limiting)WAF 规则Bot Fight Mode,可能会影响 Googlebot 抓取你的页面。


✅ 方法 1:在 Cloudflare 允许 Googlebot

  1. 登录 Cloudflare 仪表盘
  2. 选择你的网站
  3. 进入 “安全”(Security) > “WAF”(Web Application Firewall)
  4. 选择 “工具”(Tools)
  5. 在 “IP 访问规则”(IP Access Rules)中添加 Googlebot 的 IP
    • 类型(Type): IPIP Range
    • 值(Value): Googlebot 的 IP 段(见下文)
    • 操作(Action): 允许(Allow)
    • 国家(Country): Global(全局)

Googlebot 的官方 IP 段(定期更新):
👉 Googlebot 官方 IP 地址


✅ 方法 2:调整速率限制(Rate Limiting)

如果你在 速率限制 中误拦了 Googlebot,可以创建一个规则让 Googlebot 访问不受限制。

操作步骤

  1. 进入 Cloudflare 仪表盘 > 安全(Security) > WAF
  2. 选择 “速率限制”(Rate Limiting Rules)
  3. 创建新的规则:
    • 条件(If): User-Agent 匹配 "Googlebot"
    • 操作(Action): 绕过(Bypass)

这样,Googlebot 访问你的网站时不会被速率限制拦截。


✅ 方法 3:在防火墙规则(Firewall Rules)中允许 Googlebot

如果你启用了 Cloudflare 的防火墙规则(WAF 规则),可能会影响 Googlebot 访问。可以创建一个新的防火墙规则,让 Googlebot 完全绕过限制

操作步骤

  1. 进入 Cloudflare 仪表盘 > 安全(Security) > WAF
  2. 选择 “防火墙规则”(Firewall Rules)
  3. 创建新规则
    • 规则名称: 允许 Googlebot
    • 条件(When incoming requests match…):
      • 字段(Field): User-Agent
      • 运算符(Operator): 包含(contains)
      • 值(Value): "Googlebot"
    • 执行(Then…):
      • 动作(Action): 绕过(Bypass)
      • 选择 WAF速率限制JS 挑战 这些检查项

点击 保存,这样 Googlebot 就不会再受 Cloudflare 防火墙的影响。


✅ 方法 4:关闭 Bot Fight Mode

Cloudflare Bot Fight Mode(自动拦截机器人)可能会影响 Googlebot,建议关闭:

  1. 进入 Cloudflare 仪表盘
  2. 选择 “安全”(Security) > “Bot Fight Mode”
  3. 关闭 Bot Fight Mode

🛠 如何测试 Googlebot 是否被拦截?

你可以用 Google 官方工具测试:

  • Google Search Console > URL 检查工具
  • 或者用 curl 模拟 Googlebot:
    curl -A "Googlebot" -I https://yourwebsite.com
    

    如果返回 403 Forbidden,说明 Googlebot 仍然被 Cloudflare 限制,需要调整设置。


🔹 总结

方法 1:在 IP 访问规则 中允许 Googlebot IP
方法 2:在 速率限制 规则中绕过 Googlebot
方法 3:在 防火墙规则 中放行 Googlebot
方法 4关闭 Bot Fight Mode 以防误拦 Googlebot

这样,你的网站就可以完全开放 Googlebot 访问,同时仍然保持 Cloudflare 对其他恶意机器人的防御 🚀

没有了

已是最早文章

返回顶部
首页
爆料吃瓜TG群
打赏