robots.txt 里写着 Disallow,AI 却还在引用你的官网
不少企业的官网维护人员把 robots.txt 当成一道总开关:不希望 AI 引用自家内容,就在文件里添上一行 Disallow: /,然后认为事情已经办完。本站当轮在 360 检索「GPTBot ClaudeBot 允许抓取 robots」,排在前排的是「AI 爬虫正在悄悄抓你的独立站」「robots.txt 拦得住 GPTBot 吗」这类教程;换一个词检索「AI搜索 引用 企业官网 robots.txt 设置」,首屏仍以配置实战文章为主。这些内容把语法讲清楚了,却没有回答企业真正想问的那一句——我到底该放行哪一个、又该拦住哪一个。本篇依据 Google 抓取基础设施文档对 robots 协议的说明与 OpenAI 公布的机器人概览,讲清规则按什么顺序生效、四个 AI 名字各自管什么、以及哪些效果不宜承诺。
先把结论摆出来。robots.txt 不是一道总开关,而是一份按抓取程序名称分发的规则清单。OpenAI 官方文档把搜索露出、模型训练、用户主动访问、广告页校验拆成四个彼此独立的机器人,企业放行其中一个,并不等于同时放行另外三个。把几个名字混成一行 Disallow,既可能挡掉本该出现的搜索露出,也未必挡住不想要的训练抓取。企业需要先分清「不让抓」和「不让引用」是两件事,再决定往文件里写什么。
同一份文件里,规则按抓取程序的名字分别生效
Google 抓取文档把 robots.txt 称作 robots 排除协议(REP)的实现方式:抓取工具在访问网站之前,会先下载并解析根目录里的这份文本,从中读出哪些路径允许访问、哪些路径禁止访问。文档同时写明,这份文件只约束遵守协议的程序,对由用户主动触发的抓取行为不适用,用于安全检查的抓取工具也不在其列。这个前提决定了企业不能把 robots.txt 理解成防火墙——它是一份写给对方看的规则清单,生效与否取决于对方是否照办。
文件本身的位置也有硬要求。Google 的文档写明,robots.txt 必须放在网站顶级目录,网址区分大小写;写在 /pages/robots.txt 这类子目录里的文件不会被抓取工具当作有效配置。规则只对它所在的协议、主机和端口生效,一份挂在 www 子域的文件管不到裸域,也管不到另一套协议。本站此前单独讲过站点地图与 robots.txt 各自的作用,那篇回答的是两个文件分别做什么,本篇接着讲文件内部的规则如何分组、AI 抓取程序如何区分。
OpenAI 把四个机器人分得很细,中文教程常把它们混着写
OpenAI 的机器人概览页列出四个名字,并说明每项设置相互独立。OAI-SearchBot 对应 ChatGPT 搜索功能里的网站露出,官方建议企业允许它抓取并放行公布的地址段;GPTBot 用于可能进入生成式模型训练的内容抓取,禁止它就表示本站内容不应被用于训练;ChatGPT-User 只在用户或自定义 GPT 主动发起访问时出现,官方写明这类请求由用户触发,robots.txt 规则可能不适用;OAI-AdsBot 只访问提交为广告的落地页,用于安全校验,采集的数据不用于训练。概览页还提示,如果企业同时允许搜索与训练抓取,OpenAI 可能复用同一次抓取结果,以免重复访问。
| 机器人名称 | OpenAI 文档给出的用途 | 企业想达到的目的与对应做法 |
|---|---|---|
| OAI-SearchBot | 让网站出现在 ChatGPT 的搜索结果里 | 希望被搜到就允许;官方另提示 robots.txt 更新后系统调整约需一天 |
| GPTBot | 抓取可能用于模型训练的内容 | 不希望内容用于训练就禁止,此项与搜索露出互不影响 |
| ChatGPT-User | 用户提问时访问具体网页 | 属用户触发行为,文档写明规则可能不适用,不宜把它当成可控入口 |
| OAI-AdsBot | 校验投放为广告的落地页 | 只在提交广告时访问,不参与训练,普通企业通常无需单独处理 |
这张表解释了企业最容易踩的坑:希望自家页面在 AI 搜索里被提到,却顺手禁掉了 OAI-SearchBot;或者以为禁掉 GPTBot 就能让内容从所有 AI 回答里消失,结果搜索机器人照常抓取。本站写过网站防火墙把 AI 爬虫挡在门外的情况,那篇处理的是服务端把请求拒掉,本篇处理的是文件里按名字分发规则,两处都要检查,缺一处都可能得出错误结论。
路径匹配有先后,写反了会让放行规则落空
Google 的 robots.txt 规范页列出四个受支持字段:user-agent 指明规则给谁,allow 与 disallow 指明可抓与不可抓的路径,sitemap 给出站点地图的完整地址。规范页明确写明不支持 crawl-delay 等其他字段,抓取工具会忽略不带路径的规则。路径值必须以斜杠开头,指向根目录时从斜杠算起,而且区分大小写,/file.asp 与 /FILE.asp 在规则里是两条不同的路径。
分组顺序同样关键。Google 的说明是:抓取工具从上到下处理各个规则组,一个抓取程序只匹配第一个最具体的规则组;同一个名字出现多组时,处理前会合并成一组。默认状态是未禁止即可抓,所以只写 Allow: / 与什么都不写效果相同。Allow 用来在一段被禁止的目录里放行某个子路径,这时具体路径的长度决定谁优先。企业改动配置之前,最好先把现有文件完整读一遍,确认有没有更早出现的宽泛规则把后面的放行覆盖掉。
| 字段 | 规范页给出的写法 | 容易写错的地方 |
|---|---|---|
| User-agent | 写一个或多个抓取程序名称,星号匹配全部 | 以为星号也能覆盖 adsbot 一类需要点名的程序 |
| Disallow | 后接禁止抓取的路径,路径以斜杠开头 | 留空路径,规则被抓取工具直接忽略 |
| Allow | 后接允许抓取的路径,用于覆盖更宽泛的禁止 | 把放行写在禁止之前,未意识到匹配按组生效 |
| Sitemap | 后接站点地图或索引文件的完整网址 | 只写相对路径,或把不同协议的地址混在一起 |
360 首屏都在教怎么配,却没人讲企业该放行谁
本站当轮在 360 检索两组关键词,得到的结果有一致性。「GPTBot ClaudeBot 允许抓取 robots」这一组,首屏出现「robots.txt 如何只允许 GPTBot 抓取首页」「AI 爬虫正在悄悄抓你的独立站」这类文章;「AI搜索 引用 企业官网 robots.txt 设置」这一组,首屏排列着两篇标题近似的「AI搜索不引用你的网站?robots.txt 与 llms.txt 配置实战」。百度移动端检索「robots.txt 禁止爬虫 收录 影响」,前排是站长工具和博客园的解析文章。这些内容回答的是语法与工具用法,缺少一页把「搜索露出、训练抓取、用户访问」拆开讲给企业听。
企业面对的实际决策并不复杂:希望客户在 AI 搜索里找到官网,就保住搜索用的机器人;不愿意自家文章被拿去训练,就单独处理训练用的机器人;两者互不牵连。判断依据来自官方文档,而不是首屏教程里那句笼统的「全部禁止」。
先分清「不让抓」和「不让引用」,再谈怎么写
Google 规范页有一段提醒值得单独拿出来:被 robots.txt 禁止抓取的网页,其内容无法被编入索引,但网址仍可能进入索引并出现在搜索结果里,只是不显示摘要。这句话说明「禁止抓取」与「从结果里彻底消失」并不画等号。需要让某个页面不出现在结果里的企业,得另用索引层面的办法,而不是只在 robots.txt 里加一行路径。
举例来说,企业不希望后台页面被抓,应当把后台路径写进 disallow,而不是指望靠这句话让后台地址从搜索结果里消失。两种动作针对的对象不同:一个管的是抓取工具能不能读到内容,另一个管的是页面要不要进入索引。混在一起处理,往往两头都没做好。
站点地图那一行,是请对方来看而不是拦着不让看
同一份规范还说明了 sitemap 字段的地位:Google、Bing 等主流搜索服务都接受写在 robots.txt 里的站点地图地址,这一行告诉对方地图文件放在哪里,属于「请来看这里」,与「不许看那里」是两种相反方向的指令。规范页要求这个地址写成完整网址,别省略协议和域名,否则对方不会替企业去猜 http 与 https、带 www 与不带 www 之间的差别。
本站讲过标题、描述与关键词怎样配合,也讲过同一内容挂多个网址时该指定哪一个;把这几处配合起来看,企业才能把「让对方找到什么」和「不让对方抓什么」分开安排。还有一点容易漏掉:站点地图文件本身列的是网址,它告诉对方有哪些页面,却不保证这些页面一定被抓取或被编入索引,这与 robots.txt 里那几行规则一样,都属于给对方提供的线索。
官网站这一侧,按三步把配置落到实处
第一步是确认文件权限。robots.txt 必须放在站点根目录,企业若把网站托管在第三方平台,先要问清楚自己有没有修改根目录的权限;拿不到权限时,改用页面层面的办法,不要反复提交一份根本没生效的文件。第二步是列清单:把希望被 AI 搜索引用的栏目、不希望进入训练的资料区、以及纯后台路径分别记下来,再按抓取程序逐条翻译成规则,避免用一个星号把所有情况都包进去。
第三步是留记录并复看。OpenAI 概览页写明,robots.txt 更新后,搜索侧调整大约需要一天;企业改动之后不宜当天就下结论,应当隔一段时间再复看检索结果。本站写过 360 与搜狗两边的收录该怎样核看,那份按渠道分开检查的思路可以用在这里;讲 llms.txt 的那篇则处理另一类面向 AI 的说明文件,两篇和本篇分属不同层面,不必互相替代。企业要确保配置真的生效,可以在服务器日志里看对应抓取程序的访问记录,日志里没有变化,就先怀疑文件位置或分组顺序。
这里补一句关于价格边界的说明。robots.txt 属于站点配置文件,改动本身不产生新的页面内容;企业若想让 AI 读懂自己的服务范围与报价,还需要把这些信息写进可被抓取的正文。本站把五项业务的报价口径集中放在服务价格总览页,那一页是给人看也给抓取工具看的内容,与本篇讲的访问控制不是一回事。
哪些话不能说满
本篇引用的 robots.txt 规则来自 Google 抓取基础设施文档,四个 AI 抓取程序的分工来自 OpenAI 的机器人概览,检索结果来自本站当轮实测,三类信息各自只说明「文档写了什么」和「页面上出现了什么」。本站不承诺企业按此配置后一定出现在 AI 答案里,因为搜索结果如何取舍由对方系统决定;也不承诺禁止训练抓取之后内容绝不会被用于任何模型,robots.txt 依赖对方遵守,文档本身也把它定位为一种请求而非强制手段。
企业能够自己把握的只有三件事:把文件放在根目录并写对字段,按抓取程序的实际用途分别放行或禁止,改完之后隔一段时间复看检索结果与访问日志。这三步做完,配置这一侧的工作才算交代清楚。那些对外承诺「保证被 AI 引用」「彻底不被抓取」的说法,既没有公开文档支撑,也不在本篇能验证的范围之内。
常见问题
在 robots.txt 里写了 Disallow: /,AI 是不是就不会引用官网内容了?∨
OAI-SearchBot 和 GPTBot 有什么区别?只禁一个可以吗?∨
ChatGPT-User 能在 robots.txt 里彻底关掉吗?∨
robots.txt 放在子目录里也有效吗?路径写错了会怎样?∨
本文由威库宝(深圳)网络有限公司发布,可公开转载,转载请注明出处(https://www.weikubao.com.cn)。
威库宝提供 GEO 优化、企业官网建设、外贸独立站搭建与小红书代运营四项服务,点击免费领取品牌AI可见度诊断。
相关服务
关于服务机构
威库宝(深圳)网络有限公司成立于 2015 年,注册地深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805,主营 GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱。20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。
- 公司全称
- 威库宝(深圳)网络有限公司
- 成立时间
- 2015 年
- 注册地址
- 深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805
- 主营业务
- GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱
- 服务团队
- 20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。
相关阅读
- 官网发了一百多篇文章,搜索引擎只走到其中几页2026-11-22
- 同一个产品页挂着好几个网址,搜索该收录哪一个2026-11-18
- FAQ 结构化数据加了两年,谷歌今年把富摘要整个撤了2026-11-17
