抓取、索引和排名是三个先后不同的问题:抓取是Googlebot能否取得页面内容,索引是Google是否把页面存入可供检索的库,排名是用户搜索某个词时页面出现在什么位置。判断时不要只看排名,应先用site:查询、网址检查或日志确认抓取与索引状态,再讨论谷歌排名算法相关表现,否则很容易把“没被收录”误判成“排名差”。
同一个页面“搜不到”,可能有三种完全不同的原因。第一种是抓取失败:服务器返回5xx、robots.txt屏蔽、登录墙或大量重定向,Googlebot根本拿不到内容。第二种是抓取成功但未索引:页面被判定为重复、内容过薄、质量不足,或设置了noindex,于是不进入可检索结果。第三种是已索引但排名低:页面能被site:或精确标题查到,只是目标词竞争激烈、相关性不足或外链与体验偏弱。
把这三类混在一起,就会得到错误结论。例如页面没有排名,不一定需要“优化谷歌排名算法”,可能只是还没被索引。
可以按以下步骤逐层排查,每一步只回答一个是非问题:
site:你的页面URL查询,或在网址检查中看“已编入索引/未编入索引”的结论。若显示“已抓取,目前未编入索引”,说明抓取已通过,问题在索引环节。这个顺序不能颠倒。抓取和索引是排名的前提,前提不成立时,讨论排名没有意义。
实际工作中常遇到两种处理方案,选择依据是当前卡在哪一环。
site:查不到页面、网址检查显示被屏蔽或未编入索引。处理动作包括修复状态码、放开robots、移除noindex、增加内链、提交站点地图。判断结果是页面进入索引库。如果页面既没被索引又去改标题和关键词,等于跳过了前两步,通常看不到效果。
处理之后要复查,而不是凭感觉。抓取阶段看日志中Googlebot请求是否增加、状态码是否变为200;索引阶段看网址检查结论是否从“未编入索引”变为“已编入索引”,以及site:查询是否出现该页面;排名阶段看目标词位置区间是否移动。注意,索引和排名都可能滞后,复查应间隔一段时间,避免把正常延迟当成失败。
假设某产品页在site:查询中查不到,日志也没有Googlebot记录,那么它属于抓取或索引问题,此时优化标题不会改变结果。反过来,若该页已索引,只是搜索目标词时排在很后面,才属于排名问题。这个对比说明:先定位环节,再选择方案。
选一个你关心的页面,按“抓取—索引—排名”顺序各做一次检查,记录每一步的结论,再决定是修抓取、修索引还是修排名。只有确认页面已进入索引,讨论谷歌排名算法才有实际意义。