先给结论:不要试图用一份robots.txt或一次301把多个域名的相似内容“统一处理掉”,而应把每个域名压缩成一种可被搜狗识别的用途——主站承担收录与转化,历史域名只保留必要跳转或存档入口,合作方域名只保留品牌与联系信息。判断依据不是“内容像不像”,而是该域名上是否还有独立访问需求、独立品牌含义或独立业务关系。三者只要有一项成立,就不应整体下线;三项都不成立,才适合整站退役。
打开你手里那个重复页面,比如旧系统里的一篇产品说明,问三个问题:这个网址现在还有外部链接或用户直接访问吗?它承载的品牌名、合作方名称或历史承诺是否只存在于这个域名?它的内容是否已经完整迁移到主站,并且迁移后仍能完成同样的用户动作?
三个问题的答案决定处理方式:
这个动作的结果会直接影响下一步:如果旧页面有外部链接,直接410会让这些链接落空;如果先做301,链接价值有机会转移到主站对应页面。选择哪条路,取决于你是否在意这些外部链接带来的访问,而不是取决于“哪个更干净”。
不要凭感觉给整个域名下结论。把重复页面列成清单,逐条记录四类证据:该网址近期的实际访问来源(直接输入、外部链接、站内入口)、页面上的品牌与联系方式、内容与主站对应页的差异、页面是否还在完成某个用户动作(下载、咨询、登录、支付)。
假设你有一个旧合作方域名,上面有二十篇与主站相似的产品介绍,其中两篇带有合作方联合品牌名称,另外十八篇只是通用说明。合理的处理不是整站跳转,而是:两篇联合品牌页改写成用途说明页,保留域名和页面;十八篇通用说明做301到主站对应产品页;站点地图只保留那两篇说明页。这样搜狗在抓取时看到的是“这个域名有少量独立内容”,而不是“这个域名在批量复制主站”。
需要说明的是,以上数字只是用来演示比较方法,不是真实项目数据。你要做的是按自己清单里的比例决定保留范围,而不是套用某个固定阈值。
“说明各自用途”不是加一句“本页已迁移”。对搜狗和用户都有效的用途说明页,应包含以下信息,并且这些信息要出现在可见正文中,而不是只放在meta或注释里:
写完后的实际动作是:用搜狗能抓取到的普通链接把这些关系串起来,而不是依赖JavaScript跳转。做完这一步,再去站点地图里只保留用途说明页和仍然有效的页面,把已退役的页面从站点地图删除。站点地图不保证收录,但它能减少你向搜狗提交已不存在页面的概率。
如果确认某个域名三项条件都不成立,退役顺序建议是:先确认主站对应页面可访问且内容对应,再做301或410,最后更新站点地图和内部链接。反过来做,先删站点地图再改跳转,会让搜狗在一段时间内仍抓到旧地址,你看到的抓取异常并不能单独证明退役动作做错了,也可能只是抓取滞后。
两个常见误判需要避免。第一,用robots.txt禁止抓取旧域名,以为这样就能从搜狗移除页面。抓取限制不等于索引移除,已收录的网址仍可能出现在结果里。第二,认为HTTPS就代表域名用途清晰或安全无漏洞。HTTPS只说明传输加密,不解决重复内容归属,也不保证页面没有其他问题。
当多个域名确实需要并存时,让每个域名只承担一种用途,并在页面上用可见文字说清这种用途。这样你后续判断收录变化时,能区分是“用途说明页本身没被处理”还是“旧页面仍在被访问”,而不是把所有异常混在一起。