网站首选域名设置，怎样区分访问抓取与索引结果
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c1d6049c06db.html
📄
网站首选域名设置，怎样区分访问抓取与索引结果
区分访问抓取与索引结果，核心是看日志和搜索表现里“谁来过”与“谁留下了页面”。抓取是搜索引擎请求某个URL，索引是搜索引擎把该URL作为可用结果保存并可能展示。首选域名设置会影响这两步：如果多个域名或协议都能访问同一内容，抓取可能分散，索引也可能指向非首选版本。时间和人手有限时，先处理“首选域名下能否稳定抓取”，再处理“索引是否指向首选域名”。
先看三个可观察信号
不要凭感觉判断。打开服务器访问日志、搜索平台的抓取统计和站点查询结果，分别记录：
- 抓取信号：日志中出现搜索引擎爬虫对首选域名URL的请求，返回状态码是200还是301/302，是否被robots.txt拦截。
- 索引信号：用站点查询指令查首选域名下的页面，看返回结果是否显示首选域名，还是显示备用域名或http版本。
- 访问信号：在浏览器中分别访问首选域名、备用域名、http和https版本，确认最终落地页是否统一。
如果日志里有抓取，但查询结果仍显示备用域名，说明问题更可能在索引选择，而不是抓取失败。如果日志里首选域名几乎没有爬虫请求，说明先要解决抓取入口和内部链接。
判断首选域名是否被正确抓取
抓取层面的判断标准很直接：爬虫能否用首选域名拿到内容。可以执行以下检查：
- 在日志中筛选首选域名的请求，确认返回200的比例。
- 检查robots.txt是否误拦截了首选域名下的重要目录。注意，robots.txt限制抓取不等于可靠的索引移除，它只阻止爬虫访问，已索引页面仍可能保留一段时间。
- 检查站点地图和内部链接是否都指向首选域名。站点地图不保证收录，但能帮助发现首选域名下的URL。
- 用抓取工具模拟爬虫访问首选域名，看是否存在重定向链、超时或证书错误。
如果首选域名返回301到备用域名，说明首选域名设置与服务器实际跳转方向相反。这时优先修正跳转方向，而不是继续提交站点地图。
判断索引结果是否落在首选域名
索引层面关注的是搜索结果中展示的URL。可以这样复查：
- 查询品牌词加核心页面标题，看结果展示的是首选域名还是其他域名。
- 查询
site:首选域名，观察返回结果数量与备用域名结果数量的对比。数量少不一定代表失败，但首选域名结果明显缺失时，要检查canonical标签和重定向。 - 检查页面HTML中的canonical标签是否指向首选域名下的同一URL。canonical是提示，不是强制指令，但方向错误会加剧索引分散。
- 检查hreflang、分页和参数URL是否把权重导向了备用域名。
如果canonical指向备用域名，而首选域名又做301到备用域名，索引结果大概率会落在备用域名。此时要统一三处：服务器跳转、canonical标签、内部链接。
处理顺序：先抓取，后索引
时间和人手有限时，按以下顺序处理：
- 统一访问入口：让首选域名返回200，备用域名301到首选域名。http到https也统一到首选协议。
- 修正robots.txt：确认没有拦截首选域名的重要资源。不要用robots.txt来移除已索引页面。
- 修正canonical和站点地图：全部指向首选域名下的最终URL。
- 提交并观察：提交站点地图后，等待下一次抓取和索引更新。不同搜索引擎支持情况须分别核查，不要假设一个平台的处理结果会同步到另一个平台。
假设一个站点同时有example.com和www.example.com，首选设为www.example.com。如果日志显示爬虫大量抓取example.com且返回200，而www版本很少被抓取，说明服务器没有把非首选域名跳转到首选域名。修正后，日志中example.com应返回301，www应返回200。这就是可复查的判断结果。
复查时看什么，多久看一次
修改后不要只看一天。抓取和索引更新有延迟，且不同搜索引擎节奏不同。复查时重点看：
- 首选域名下重要URL的抓取次数是否上升，返回200是否稳定。
- 搜索结果中首选域名展示比例是否增加。
- 备用域名是否仍被大量抓取或索引。若仍存在，检查是否有外部链接、站点地图或canonical继续指向备用域名。
- HTTPS证书是否有效、是否混合内容。HTTPS不保证安全无漏洞或排名，但证书错误会直接阻碍抓取。
下一步：先导出最近一周的服务器日志，筛出首选域名和备用域名的抓取状态码，再对照搜索结果中实际展示的域名。如果两者不一致，优先修正跳转和canonical，而不是继续增加页面。
