官网页面多到要拆站点地图,百度那边还得单独交一份
站点地图这件事,页面少的时候几乎没人管。sitemaps.org 公布的协议给了一条硬限制:单个文件最多列 50,000 个网址,未压缩时不超过 50 MB;超过任意一条,网站就得把网址拆到多个文件里,再用一个索引文件把这些文件列出来。百度用户服务中心的《百度Sitemap协议》另有一套自己的数字:单个文件同样不超过 50,000 个网址,但体积上限是 10 MB,编码可以是 UTF-8 或 GBK。两组数字看着差不多,真正容易出问题的地方不在数字,而在「拆完之后交给谁」这一步。
本文把拆分规则、两份百度公开文档之间的口径差别、lastmod 的常见写法错误,以及本站自己用的分片结构放在一起讲。文中引用的限制与规定都来自可公开查阅的官方文档,本站没有登录任何平台后台做实测,凡是涉及平台当前如何处理的地方,只陈述文档写了什么,不替平台下结论。
一个文件装不下时,协议允许怎么拆
sitemaps.org 的协议把话说得很直白:网站可以提供多个站点地图文件,但每个文件里的网址不能超过 50,000 条,文件未压缩时不能超过 50 MB(52,428,800 字节)。网址超过 50,000 条,网站就必须建多个文件;建了多个文件,协议建议把它们逐条列进一个站点地图索引文件。索引文件本身也有上限:最多列 50,000 个站点地图,体积同样不超过 50 MB,可以有不止一个索引文件。
索引文件还有一条位置限制。协议写明,一个索引文件只能列出与它同站点的站点地图文件;放在 www.yoursite.com 下的索引文件,不能去列 www.example.com 或者 yourhost.yoursite.com 上的文件。企业把图片站、博客站放在不同子域名时,这条限制会直接决定索引文件该放在哪一层。
协议对网址本身的写法也有要求:文件必须是 UTF-8 编码,每条网址都要写全,带上 http 或 https,不能只写相对路径;网址里出现的 & 一类字符要做 XML 实体转义。这些属于格式问题,格式错了,后面拆得再合理也读不出来。
Google 搜索中心的《建立并提交 Sitemap》沿用同一组上限,并补了一句位置建议:站点地图可以放在网站任意目录,但除非站长通过 Search Console 提交,否则它只管到所在目录的子级,放在根目录最省事。该文档同样要求使用完整绝对网址,并建议只在文件里放希望出现在搜索结果里的那一版网址。
百度的两套数字,和通用协议并不完全一样
百度用户服务中心的《百度Sitemap协议》支持三种形式:XML 格式文件、每行一个网址的纯文本文件,以及把多个文件列在一起的索引文件。它给出的单文件上限是 50,000 个网址、小于 10 MB(10,485,760 字节),压缩前的体积就要满足这一条;编码允许 UTF-8 或 GBK。索引文件最多可列 50,000 个 XML 数据文件,单个索引文件也应小于 10 MB。
把两边并排放,差别主要在体积上限和编码这两列。企业如果照通用协议的 50 MB 去生成一个文件,放到百度这一侧就超了;反过来,按 10 MB 生成的文件,在通用协议下依然合规。下面这张表把可直接核对的几项列在一起。
| 核对项 | sitemaps.org 协议 / Google 文档 | 百度 Sitemap 协议 |
|---|---|---|
| 单文件网址数上限 | 50,000 条 | 50,000 条 |
| 单文件体积上限(未压缩) | 50 MB,即 52,428,800 字节 | 10 MB,即 10,485,760 字节 |
| 编码 | UTF-8 | UTF-8 或 GBK |
| 索引文件可列文件数 | 最多 50,000 个站点地图 | 最多 50,000 个 XML 数据文件 |
| 索引文件体积上限 | 50 MB | 小于 10 MB |
| 索引文件位置 | 只能列同站点的站点地图 | 文档另有说明,需按平台侧要求核对 |
顺带说一句收录边界。百度用户服务中心的《提交sitemap失败的原因?》里写明,站长提交的 sitemap 或文件里的网址不一定全部被收录,百度会按数据情况判别;提交后一般在 1 小时内处理,具体完成时间看文件大小。这类说明与 sitemaps.org 协议里「站点地图不保证收录、也不影响排名」的立场一致:站点地图负责把网址报上去,不负责把网址排上去。
两份百度公开文档,对索引文件的说法不一致
这一处值得单独拎出来讲。百度用户服务中心的《百度Sitemap协议》写的是:网站有多个 Sitemap 文件时,还可以使用 Sitemap 索引文件提交,文档里也给了索引文件的 XML 示例。百度站内搜索帮助中心的《什么是sitemap索引文件》同样写明,需要提交大量 XML 数据文件时,可以把它们列在索引文件里,然后提交该索引文件,不必逐个提交数据文件。
百度搜索资源平台的《平台工具使用手册》里却有一段不同的表述。该手册在「创建Sitemap时有哪些注意事项」下写明,搜索资源平台侧的 sitemap 文件提交已经不再支持索引型文件形式,历史提交的索引型文件也不再抓取,并建议站长及时删除、改用其他资源提交方式。同一份手册还列了另外两条限制:一个站点可提交的 sitemap 文件个数须小于 5 万个,验证过主域的网站可以在文件里包含该主域下的所有网址。
把这几处放到一起,能确认的只有一件事:这几份公开文档目前给出的口径并不一致,而且它们面向的入口也不完全相同——一份是用户服务中心的协议说明,一份是站内搜索帮助,一份是搜索资源平台的工具手册。本站没有登录平台后台验证当前的实际处理逻辑,因此不判断哪一份代表平台现状,也不建议企业据此直接删掉已有的索引文件。稳妥的做法是把两条路都留着:根目录的 robots.txt 里保留指向索引文件的那一行,供通用爬虫自行发现;面向百度的收录,另按平台工具手册允许的方式逐个提交普通 sitemap 文件,或用平台提供的主动提交接口报新网址。360 和搜狗的收录,多数企业只做了一半里按平台拆过提交入口,两处可以对照着看。
这类口径不一致还有个更实际的影响。企业把站点地图拆完之后,如果只盯着 robots.txt 那一行,很容易以为所有渠道都读到了;而按平台工具手册的说法,平台侧的提交动作是另一件事。两件事分开记在运维清单里,比事后猜「为什么新页面没被抓」省时间。
本站现在用的是一套分片结构
本站的页面数量没到 50,000 条,拆分不是被体积逼出来的,而是为了让不同板块能各自更新。当前结构是:一个 sitemap-index.xml 索引文件,下面挂主站的 sitemap.xml,以及每个已启用城市各一份 sitemap-city-城市拼音.xml;启用城市 73 个,索引文件里的条目数就是 74 条。robots.txt 只保留一行 Sitemap 指向这个索引文件。
按城市拆的好处很具体。某个城市新发一篇文章,重建时只需要改这个城市的分片,其他 72 个分片不动,索引文件里也只有对应那一条的日期会变。栏目列表页的日期取自该栏目已发布内容里最新的更新日,内容详情页的日期取自该行内容真实的编辑时间,无内容的新城市回退到城市建站日。这些日期字段都由数据库里的记录生成,不是每次重建时统一写成当天。
这套结构有一个前提:分片的命名和路由要能被服务器认出来。本站的重写规则里给 sitemap-city-城市拼音.xml 这一类文件名留了放行规则,否则索引文件列了文件名,访问时却返回 404,拆分等于白做。重建脚本每次会自动清掉不再被索引引用的旧分片,避免目录里堆着一批没人看的老文件。
分片不是切得越碎越好,先想清楚按什么维度切
协议只规定了上限,没规定怎么分。企业常见的四种切法各有利弊,选哪一种取决于内容以什么为单位增长。下面这张表按维护成本列了对照。
| 拆分维度 | 适合的内容形态 | 维护时的好处 | 容易踩的坑 |
|---|---|---|---|
| 按栏目或业务线 | 产品、资讯、案例各自独立更新的官网 | 新增一篇文章只动一个文件 | 栏目改名会牵动文件名,需要同步改索引 |
| 按城市或区域 | 带地域落地页的站群 | 某地上新不影响其他分片,日期可按地区追溯 | 启用/停用地区变动时,要及时清掉孤儿分片 |
| 按内容类型 | 图文、视频、新闻混排的媒体站 | 不同类型可配各自的扩展标签 | 同一网址被两个分片同时收录,会造成重复报送 |
| 按发布日期 | 日更量很大的资讯站 | 历史分片长期不变,抓取侧便于增量取用 | 旧文章被编辑后,日期与分片归属容易对不上 |
本站选的是按城市切,因为内容增长单位是「哪个城市又发了一篇」。企业如果主要按栏目更新,硬套城市分片反而会让编辑每次要改两个地方。判断标准可以简单一点:哪一种内容变动最频繁,就以它作为分片的边界。
还有一条容易被忽略的边界。sitemaps.org 协议写明,索引文件里的 lastmod 指的是该站点地图文件本身的修改时间,不等于文件里那些网页的修改时间;这个字段的作用是让爬虫只取回近期变动过的分片。企业把两个 lastmod 混成同一个含义,索引层就会天天显示当天,增量发现的意义就没了。
lastmod 最容易写错的一处:把生成日当成修改日
sitemaps.org 协议对 lastmod 有明确说明:这个日期应当是所链接网页的最后修改日期,不是站点地图生成的时间;格式用 W3C Datetime,允许只写 YYYY-MM-DD。协议还特意把它与服务器返回的 If-Modified-Since(304)头区分开,说明搜索引擎可能以不同方式使用这两处信息。changefreq 与 priority 在协议里只是提示,priority 是站内相对值,协议写明它不太可能影响网址在搜索结果里的位置。
常见错误是重建脚本每次执行时,给文件里所有 URL 统一打上当天的日期。这么写,页面没动,日期却变了。本站的做法是把日期来源分开:内容详情页读该行内容的真实编辑时间,栏目列表页读该栏目已发布内容的最新更新日,首页与几个服务页各自由站点设置里的一个日期键控制,页面改动时才手动更新那个键。浏览量这类计数走独立字段,不写回内容行,因此不会因为有人访问就把日期刷新。
改版时 date 的写法也要跟着走。企业把旧栏目整体 301 到新栏目之后,旧网址不该继续留在分片里,新网址的 lastmod 应当取它自己真实的上线或编辑时间。企业官网改版怎么保住搜索权重?301 重定向实操按跳转关系讲过改版这层,和站点地图这层是两套动作,别互相代替。
哪些网址不该出现在分片里
拆分解决的是数量问题,纯净度解决的是信任问题。Google 搜索中心的文档建议只在站点地图里放希望出现在搜索结果里的网址,并提示文件里的网址会被当作规范网址的参考;sitemaps.org 的常见问题解答也写明,http 与 https 两种版本不要同时列,只列其中一种,带会话 ID 的网址要去掉会话 ID。把这些要求落到日常维护,可以归成四类要清掉的网址:已经 301 或 410 的旧地址、被 robots 或 noindex 拦掉的页面、带参数或非规范版本的重复地址、以及返回 404 的死链。
本站在这方面有过一次教训。站点曾经把一批文章挂在尚未启用的城市下面,这些页面访问时被统一跳转到城市列表页,也不该出现在任何分片里。后来重建逻辑改成只遍历已启用城市,索引与分片才干净下来。企业做城市落地页、活动专题页时,可以先按「这个网址现在是否返回 200、是否可索引、是否是规范版本」三问过一遍,再决定要不要写进文件。
sitemap.xml与robots.txt对SEO的作用科普解释过这两个文件各自管什么,本站的分片结构可以说是在那层基础之上多做了一步:robots.txt 负责告诉爬虫索引文件在哪,索引文件负责告诉爬虫有哪些分片,分片负责报出具体网址,三层各管一段,不互相覆盖。
上线当天自己能验的六处
站点地图改完不必等平台反馈,当天就能在本地和服务端核完下面六处。这些动作都不需要登录任何后台,只需要能访问网站根目录。
- 第一处,逐个用 XML 解析器打开索引文件和每一份分片,确认都能解析、没有截断的标签。
- 第二处,数索引文件里的条目数,与目录里实际存在的分片文件数对上,多出来的就是孤儿文件,少掉的就是漏挂的分片。
- 第三处,抽查两份分片,确认每份只含自己负责的那类网址,没有把别的栏目或别的城市的页面混进来。
- 第四处,打开 robots.txt,确认里面指向的是索引文件,且那一行用的是完整绝对网址。
- 第五处,从分片里各抽几条网址直接访问,确认返回 200,而不是 301、404 或 410。
- 第六处,挑一条当天没改过的老页面,比对分片里的 lastmod 与页面实际的编辑记录,确认没有全站刷成当天。
验完之后还剩两件事分开做。面向百度的新网址,按平台当前允许的入口单独提交,不要默认「写了 robots 就算交过」;面向站内发现,把新页面的链接放进相关正文和栏目页,让爬虫顺着链接也能走到。网站收录慢/不收录怎么办?百度站长平台科普按收录排查的顺序讲过后一层,AI 爬虫被防火墙挡在门外,内容做得再好也进不了答案讲的是抓取可达性,两篇都和站点地图这层相邻,但解决的是不同问题。
最后把边界说清楚。上面写的限制、字段含义与文档口径,都能在列出的公开文档里逐条核对;「按城市拆更省事」「按栏目更新就按栏目切」属于本站维护多城市站点得到的经验判断,不是协议规定,企业按自己的内容结构取舍即可。至于拆完之后某个平台会不会更快收录,几份公开文档都没有给出可核对的时限,本站也不替平台承诺效果。
常见问题
页面还没到 5 万条,需要提前把站点地图拆开吗?∨
每次重建站点地图,把 lastmod 统一写成当天可以吗?∨
robots.txt 里已经写了索引文件,还用在平台单独提交吗?∨
已经 301 或 410 的旧网址,能不能留在分片里?∨
本文由威库宝(深圳)网络有限公司发布,可公开转载,转载请注明出处(https://www.weikubao.com.cn)。
威库宝提供 GEO 优化、企业官网建设、外贸独立站搭建与小红书代运营四项服务,点击免费领取品牌AI可见度诊断。
相关服务
关于服务机构
威库宝(深圳)网络有限公司成立于 2015 年,注册地深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805,主营 GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱。20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。
- 公司全称
- 威库宝(深圳)网络有限公司
- 成立时间
- 2015 年
- 注册地址
- 深圳市龙岗区龙岗街道新生社区新霖荟邑第 6 栋 805
- 主营业务
- GEO 优化、企业网站建设、外贸独立站搭建、小红书代运营、企业邮箱
- 服务团队
- 20+ 人的专业技术与服务团队;公司 2015 年成立,深耕行业 11 年,技术团队深耕行业 16 年。
相关阅读
- 官网发了一百多篇文章,搜索引擎只走到其中几页2026-11-22
- robots.txt 里写着 Disallow,AI 却还在引用你的官网2026-11-20
- 同一个产品页挂着好几个网址,搜索该收录哪一个2026-11-18
