免费领取AI可见度诊断
首页 / 资讯中心 / AI 爬虫被防火墙挡在门外,内容做得再好也进不了答案

AI 爬虫被防火墙挡在门外,内容做得再好也进不了答案

GEO优化 2026-11-05 威库宝(深圳)网络有限公司 阅读 78 次

有一类企业,官网内容按月更新,标题、关键词、收录都查过,没毛病。可是打开豆包问一句「做这个的哪家靠谱」,答案里还是没有自己。查到最后,问题不在内容,在服务器前面那道门:AI 的爬虫根本没进到页面里。

威库宝自己的站就撞过这堵墙。用命令行请求自己的文章页,返回的是 403 加一段 JavaScript 校验;用浏览器打开,一切正常。这个差别说明一件事——凡是不会执行 JavaScript 的访问者,包括大部分爬虫,拿到的都不是正文。页面在服务器上活着,在 AI 那边等于不存在。

写这篇之前我们复测了一遍:同一条命令、同一个地址,现在返回的是 200 和完整正文,Baiduspider、360Spider、Sogou、Bytespider、GPTBot 五个 UA 都能拿到全文。可见这层拦截不是固定的,它会随防火墙策略、IP 信誉和请求频率变化。所以判断只能靠隔一段时间自己测一次,不能凭一次结果下结论。

一、先确认 AI 到底来没来过

判断的依据只有一个:服务器访问日志里的 User-Agent 字段。日志里搜不到任何带 AI 标识的 UA,说明爬虫没来过,或者被挡在更前面一层。日志里有 UA、返回码是 403 或 429,说明来了又被拒。这两种情况的处理方式完全不同,先分清再动手。

虚拟主机的用户可以在控制面板里找「访问日志」下载,独立服务器直接看 Nginx 或 Apache 的 access.log。日志一般只保留最近若干天,想让证据留得住,从今天开始按周存档。

二、哪些 UA 属于 AI 爬虫

下面这张表是各家厂商公开的爬虫标识,排查时按关键字在日志里搜,一条一条对。

厂商UA 关键字用途
字节跳动Bytespider豆包等产品的内容抓取
OpenAIGPTBot模型训练抓取
OpenAIOAI-SearchBot搜索索引
OpenAIChatGPT-User用户发起时的实时访问
AnthropicClaudeBot、Claude-User训练抓取与实时访问
PerplexityPerplexityBot、Perplexity-User索引与实时访问
GoogleGooglebot搜索抓取
GoogleGoogle-Extended控制训练用途,非独立爬虫
MicrosoftBingbot必应索引
AppleApplebot、Applebot-Extended搜索抓取与训练控制
Metameta-externalagent训练抓取
百度Baiduspider百度搜索
360360Spider、HaosouSpider360 搜索
搜狗Sogou web spider搜狗搜索
神马YisouSpider移动端搜索

表里有两项容易搞错。Google-Extended 和 Applebot-Extended 不是独立的爬虫程序,它们是 robots.txt 里的控制标记,用来决定 Googlebot、Applebot 已经抓到的内容能不能拿去训练模型。把这两个名字加进防火墙的 UA 白名单没有意义,写进 robots.txt 才有意义。

三、防火墙为什么把正常爬虫当攻击

三种情形最常见。第一种是频率判定,爬虫抓列表页的速度比人快,一分钟内连打几十个请求,规则直接触发。第二种是特征缺失,真实的爬虫不带 Cookie、不加载 JS、不发 Referer,这套行为在防火墙眼里和扫描器一模一样。第三种是机房 IP,很多爬虫从云机房出网,而机房 IP 段在威胁情报库里本来就是高风险。

这三条规则不看来的是谁,只看行为像不像人。所以企业把安全等级调得越高,正常爬虫越容易被误伤。安全与可抓取之间需要一次有意识的权衡,默认配置很少刚好落在中间。

四、三种拦法,症状不一样

排查时先看返回码和响应长度,比反复改配置快得多。

拦截方式访客看到的现象日志里的特征
JS 人机校验浏览器正常,命令行拿到一段校验脚本返回 200,但正文只有几百字节
IP 频率限制抓几页后中断,隔天自己恢复返回 429,或集中出现 403
IP 段或地区封禁海外访问全断,国内正常403 集中在同一个网段
robots.txt 主动屏蔽蜘蛛完全不来没有任何请求记录

第三种在外贸站上杀伤力最大。企业为了防攻击把海外 IP 段整体封掉,结果谷歌、必应和海外买家的浏览器一起被挡,站点的海外流量无声无息地归零。

五、放行怎么做,顺序别颠倒

先 robots.txt,再防火墙,最后 CDN。这个顺序的道理是:robots.txt 决定爬虫愿不愿意来,防火墙决定它进不进得来,CDN 决定它在边缘就被拦还是能到源站。任何一层没通,后面的调整都白费。

  1. 先自查 robots.txt。文件里有没有 Disallow: / 这种写错一个字符就封全站的规则,有没有把 /news/、/city/ 这类靠内容吃饭的目录排除掉。robots.txt 是公开承诺,写了不让抓,爬虫就真的不来。
  2. 防火墙加 UA 白名单,同时放行对应 IP 段。只放 UA 不够,UA 可以伪造;只放 IP 也不够,IP 会变。两条一起用,误拦率最低。
  3. 给爬虫留一条干净路径。内容页不挂验证码、不强制登录、不用 JS 渲染正文,列表页和详情页的服务端 HTML 里就要有完整文字。
  4. CDN 的机器人管理单独确认。部分 CDN 默认开启「已知机器人挑战」,会把搜索蜘蛛和 AI 爬虫一起挑战掉,这一项要单独看一眼。

六、一条命令验证放行结果

不用等爬虫上门,自己模拟一次就能看出结果。在命令行里发一个带 UA 的请求,看返回码和正文长度:

curl -A "Mozilla/5.0 (compatible; Bytespider)" -s -o /dev/null -w "%{http_code} %{size_download}\n" https://你的域名/news/xxx.html

返回 200、下载体积在几 KB 以上,说明能拿到正文。返回 403、返回 200 但只有几百字节、或者返回一段带 challenge 的脚本,都是被拦了。把 UA 换成 Baiduspider、GPTBot、ClaudeBot 各试一遍,四个结果拼起来就是一张体检表。

百度的搜索资源平台有抓取诊断工具,能看到百度蜘蛛实际拿到的返回内容;必应和谷歌的站长后台也有同类功能。三个渠道各测一次,比坐在办公室里猜准得多。

七、放行只是开门,屋里得有东西

爬虫进来之后,接着看它能不能拿走有用的内容。三处细节最影响提取效率:正文有没有用 h2 分节,关键结论有没有单独成段而不是埋在长段落中间,参数、价格、周期这类事实有没有用表格列出来。AI 生成答案时按段落摘取,段落边界清楚的内容更容易被整段搬走。

还要补一个 llms.txt。这个文件放在网站根目录,用 Markdown 列出站点的主要页面和一句话说明,相当于给 AI 一份导览。它不是强制标准,目前只有部分厂商明确读取,但成本极低,顺手做掉没有坏处。

页面本身的结构化标记也要跟上。Organization、Article、FAQPage 这几类 Schema 写清楚,实体关系就不会靠猜。结构化数据(Schema)怎么加这篇里有一份可以直接照着填的技术清单。

八、这件事该谁做,花多少钱

放行属于服务器配置,通常由建站服务商或运维处理,内容团队只需要提供 UA 清单和需要放行的目录。站点托管在虚拟主机上的,防火墙开关往往由主机商控制,得提工单,问清楚三件事:能不能按 UA 放行、能不能只对内容页关闭校验、改了之后多久生效。

价格口径如下:企业官网 SaaS 档 3,580 元/年起,含服务器、域名、SSL 证书与 7×24 技术维护(不提供源码),最快 7 天上线;中英文定制版 6,000 元/年起;外贸独立站 3,580 元起;GEO 优化 9,800 元/季度;小红书代运营 1,500 元/月起;企业邮箱 200 元/用户/年。放行配置含在运维范围内,不单独收费。

这件事的技术难度不高,难在企业内部没人对「爬虫能不能进来」负责。建站方管交付,市场部管内容,运维管安全,三方的交界处正好是这个漏洞待的地方。定一个人,每月跑一遍上面那条 curl,问题就不会积到半年。

想先弄清自己站在 AI 里的整体状况,可以读AI 搜索适配要做哪些事?技术和内容两条腿;判断内容写得对不对路,看GEO 内容怎么写:五大内容维度与 AI 引用率的关系;官网本身要不要按新标准改版,参考企业官网改版怎么保住搜索权重。GEO 优化服务页列了交付范围与验收口径。

FAQ

常见问题

怎么判断 AI 的爬虫有没有来过我的网站?∨
看服务器访问日志的 User-Agent 字段。搜 Bytespider、GPTBot、ClaudeBot、PerplexityBot 这些关键字,有记录说明来过,再看同一行的返回码:200 是正常抓取,403 和 429 是被防火墙拦了。完全没有记录,要么爬虫没来过,要么在更前面一层就被挡住,这时要查 CDN 和 robots.txt。
robots.txt 里写了 Allow,是不是 AI 就能抓了?∨
不是。robots.txt 只是一份许可声明,告诉爬虫哪些目录可以进,它不能替爬虫打开防火墙。实际情况里,robots.txt 放行、防火墙拦截的组合很常见,页面照样抓不到。两处都要确认,缺一处都不算通。
放行 AI 爬虫会不会带来安全风险?∨
风险可控,前提是只放行该放行的部分。放行范围限定在内容页的 GET 请求,后台、登录接口、表单提交继续拦;UA 白名单配合 IP 段校验,防止有人伪造 UA 绕过。这样做的实质是把「所有陌生访问一律拦」换成「内容公开可读,管理入口照旧封闭」。
网站放在虚拟主机上,防火墙自己能改吗?∨
多数虚拟主机的防火墙由主机商统一管理,用户改不了,需要提工单。提工单时说清三件事:要按 UA 放行哪些爬虫、只对内容页关闭人机校验、改完请提供一次测试结果。主机商如果不支持按 UA 放行,可以要求把站点迁到支持自定义规则的方案,或者用 CDN 在边缘层做放行。

本文由威库宝(深圳)网络有限公司发布,可公开转载,转载请注明出处(https://www.weikubao.com.cn)。
威库宝提供 GEO 优化、企业官网建设、外贸独立站搭建与小红书代运营四项服务,点击免费领取品牌AI可见度诊断。

关于服务机构

威库宝(深圳)网络有限公司成立于 2015 年,注册地深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805,主营 GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱。20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。

公司全称
威库宝(深圳)网络有限公司
成立时间
2015 年
注册地址
深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805
主营业务
GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱
服务团队
20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。