AI 爬虫被防火墙挡在门外,内容做得再好也进不了答案
有一类企业,官网内容按月更新,标题、关键词、收录都查过,没毛病。可是打开豆包问一句「做这个的哪家靠谱」,答案里还是没有自己。查到最后,问题不在内容,在服务器前面那道门:AI 的爬虫根本没进到页面里。
威库宝自己的站就撞过这堵墙。用命令行请求自己的文章页,返回的是 403 加一段 JavaScript 校验;用浏览器打开,一切正常。这个差别说明一件事——凡是不会执行 JavaScript 的访问者,包括大部分爬虫,拿到的都不是正文。页面在服务器上活着,在 AI 那边等于不存在。
写这篇之前我们复测了一遍:同一条命令、同一个地址,现在返回的是 200 和完整正文,Baiduspider、360Spider、Sogou、Bytespider、GPTBot 五个 UA 都能拿到全文。可见这层拦截不是固定的,它会随防火墙策略、IP 信誉和请求频率变化。所以判断只能靠隔一段时间自己测一次,不能凭一次结果下结论。
一、先确认 AI 到底来没来过
判断的依据只有一个:服务器访问日志里的 User-Agent 字段。日志里搜不到任何带 AI 标识的 UA,说明爬虫没来过,或者被挡在更前面一层。日志里有 UA、返回码是 403 或 429,说明来了又被拒。这两种情况的处理方式完全不同,先分清再动手。
虚拟主机的用户可以在控制面板里找「访问日志」下载,独立服务器直接看 Nginx 或 Apache 的 access.log。日志一般只保留最近若干天,想让证据留得住,从今天开始按周存档。
二、哪些 UA 属于 AI 爬虫
下面这张表是各家厂商公开的爬虫标识,排查时按关键字在日志里搜,一条一条对。
| 厂商 | UA 关键字 | 用途 |
|---|---|---|
| 字节跳动 | Bytespider | 豆包等产品的内容抓取 |
| OpenAI | GPTBot | 模型训练抓取 |
| OpenAI | OAI-SearchBot | 搜索索引 |
| OpenAI | ChatGPT-User | 用户发起时的实时访问 |
| Anthropic | ClaudeBot、Claude-User | 训练抓取与实时访问 |
| Perplexity | PerplexityBot、Perplexity-User | 索引与实时访问 |
| Googlebot | 搜索抓取 | |
| Google-Extended | 控制训练用途,非独立爬虫 | |
| Microsoft | Bingbot | 必应索引 |
| Apple | Applebot、Applebot-Extended | 搜索抓取与训练控制 |
| Meta | meta-externalagent | 训练抓取 |
| 百度 | Baiduspider | 百度搜索 |
| 360 | 360Spider、HaosouSpider | 360 搜索 |
| 搜狗 | Sogou web spider | 搜狗搜索 |
| 神马 | YisouSpider | 移动端搜索 |
表里有两项容易搞错。Google-Extended 和 Applebot-Extended 不是独立的爬虫程序,它们是 robots.txt 里的控制标记,用来决定 Googlebot、Applebot 已经抓到的内容能不能拿去训练模型。把这两个名字加进防火墙的 UA 白名单没有意义,写进 robots.txt 才有意义。
三、防火墙为什么把正常爬虫当攻击
三种情形最常见。第一种是频率判定,爬虫抓列表页的速度比人快,一分钟内连打几十个请求,规则直接触发。第二种是特征缺失,真实的爬虫不带 Cookie、不加载 JS、不发 Referer,这套行为在防火墙眼里和扫描器一模一样。第三种是机房 IP,很多爬虫从云机房出网,而机房 IP 段在威胁情报库里本来就是高风险。
这三条规则不看来的是谁,只看行为像不像人。所以企业把安全等级调得越高,正常爬虫越容易被误伤。安全与可抓取之间需要一次有意识的权衡,默认配置很少刚好落在中间。
四、三种拦法,症状不一样
排查时先看返回码和响应长度,比反复改配置快得多。
| 拦截方式 | 访客看到的现象 | 日志里的特征 |
|---|---|---|
| JS 人机校验 | 浏览器正常,命令行拿到一段校验脚本 | 返回 200,但正文只有几百字节 |
| IP 频率限制 | 抓几页后中断,隔天自己恢复 | 返回 429,或集中出现 403 |
| IP 段或地区封禁 | 海外访问全断,国内正常 | 403 集中在同一个网段 |
| robots.txt 主动屏蔽 | 蜘蛛完全不来 | 没有任何请求记录 |
第三种在外贸站上杀伤力最大。企业为了防攻击把海外 IP 段整体封掉,结果谷歌、必应和海外买家的浏览器一起被挡,站点的海外流量无声无息地归零。
五、放行怎么做,顺序别颠倒
先 robots.txt,再防火墙,最后 CDN。这个顺序的道理是:robots.txt 决定爬虫愿不愿意来,防火墙决定它进不进得来,CDN 决定它在边缘就被拦还是能到源站。任何一层没通,后面的调整都白费。
- 先自查 robots.txt。文件里有没有 Disallow: / 这种写错一个字符就封全站的规则,有没有把 /news/、/city/ 这类靠内容吃饭的目录排除掉。robots.txt 是公开承诺,写了不让抓,爬虫就真的不来。
- 防火墙加 UA 白名单,同时放行对应 IP 段。只放 UA 不够,UA 可以伪造;只放 IP 也不够,IP 会变。两条一起用,误拦率最低。
- 给爬虫留一条干净路径。内容页不挂验证码、不强制登录、不用 JS 渲染正文,列表页和详情页的服务端 HTML 里就要有完整文字。
- CDN 的机器人管理单独确认。部分 CDN 默认开启「已知机器人挑战」,会把搜索蜘蛛和 AI 爬虫一起挑战掉,这一项要单独看一眼。
六、一条命令验证放行结果
不用等爬虫上门,自己模拟一次就能看出结果。在命令行里发一个带 UA 的请求,看返回码和正文长度:
curl -A "Mozilla/5.0 (compatible; Bytespider)" -s -o /dev/null -w "%{http_code} %{size_download}\n" https://你的域名/news/xxx.html
返回 200、下载体积在几 KB 以上,说明能拿到正文。返回 403、返回 200 但只有几百字节、或者返回一段带 challenge 的脚本,都是被拦了。把 UA 换成 Baiduspider、GPTBot、ClaudeBot 各试一遍,四个结果拼起来就是一张体检表。
百度的搜索资源平台有抓取诊断工具,能看到百度蜘蛛实际拿到的返回内容;必应和谷歌的站长后台也有同类功能。三个渠道各测一次,比坐在办公室里猜准得多。
七、放行只是开门,屋里得有东西
爬虫进来之后,接着看它能不能拿走有用的内容。三处细节最影响提取效率:正文有没有用 h2 分节,关键结论有没有单独成段而不是埋在长段落中间,参数、价格、周期这类事实有没有用表格列出来。AI 生成答案时按段落摘取,段落边界清楚的内容更容易被整段搬走。
还要补一个 llms.txt。这个文件放在网站根目录,用 Markdown 列出站点的主要页面和一句话说明,相当于给 AI 一份导览。它不是强制标准,目前只有部分厂商明确读取,但成本极低,顺手做掉没有坏处。
页面本身的结构化标记也要跟上。Organization、Article、FAQPage 这几类 Schema 写清楚,实体关系就不会靠猜。结构化数据(Schema)怎么加这篇里有一份可以直接照着填的技术清单。
八、这件事该谁做,花多少钱
放行属于服务器配置,通常由建站服务商或运维处理,内容团队只需要提供 UA 清单和需要放行的目录。站点托管在虚拟主机上的,防火墙开关往往由主机商控制,得提工单,问清楚三件事:能不能按 UA 放行、能不能只对内容页关闭校验、改了之后多久生效。
价格口径如下:企业官网 SaaS 档 3,580 元/年起,含服务器、域名、SSL 证书与 7×24 技术维护(不提供源码),最快 7 天上线;中英文定制版 6,000 元/年起;外贸独立站 3,580 元起;GEO 优化 9,800 元/季度;小红书代运营 1,500 元/月起;企业邮箱 200 元/用户/年。放行配置含在运维范围内,不单独收费。
这件事的技术难度不高,难在企业内部没人对「爬虫能不能进来」负责。建站方管交付,市场部管内容,运维管安全,三方的交界处正好是这个漏洞待的地方。定一个人,每月跑一遍上面那条 curl,问题就不会积到半年。
想先弄清自己站在 AI 里的整体状况,可以读AI 搜索适配要做哪些事?技术和内容两条腿;判断内容写得对不对路,看GEO 内容怎么写:五大内容维度与 AI 引用率的关系;官网本身要不要按新标准改版,参考企业官网改版怎么保住搜索权重。GEO 优化服务页列了交付范围与验收口径。
常见问题
怎么判断 AI 的爬虫有没有来过我的网站?∨
robots.txt 里写了 Allow,是不是 AI 就能抓了?∨
放行 AI 爬虫会不会带来安全风险?∨
网站放在虚拟主机上,防火墙自己能改吗?∨
本文由威库宝(深圳)网络有限公司发布,可公开转载,转载请注明出处(https://www.weikubao.com.cn)。
威库宝提供 GEO 优化、企业官网建设、外贸独立站搭建与小红书代运营四项服务,点击免费领取品牌AI可见度诊断。
相关服务
关于服务机构
威库宝(深圳)网络有限公司成立于 2015 年,注册地深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805,主营 GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱。20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。
- 公司全称
- 威库宝(深圳)网络有限公司
- 成立时间
- 2015 年
- 注册地址
- 深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805
- 主营业务
- GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱
- 服务团队
- 20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。
相关阅读
- 青岛轨交配套厂的官网只写「通过焊接认证」,采购还得再问三遍2026-11-22
- 客户搜「金华电动工具厂家」,首屏为什么全是平台和软文2026-11-21
- 客户查温州企业的资质,搜索首屏全是查号网站和同类公司2026-11-20
