网站收录，批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7fa18f16c416.html
📄
网站收录，批量页面只有一部分被发现时怎样划分对照组
把已发现和未发现页面按“唯一差异”配对，而不是按目录或上线时间整批对比，才能把原因从猜测变成可验证的假设。下面用一个假设情境说明划分对照组的具体做法。
先确认“被发现”的判定口径是否一致
在划分对照组之前，必须先统一“被发现”指的是什么。是日志里出现过抓取请求，还是站内搜索能看到条目，还是索引查询返回了结果？这三件事并不等价。robots.txt 允许抓取，只说明抓取不被禁止，不代表页面会被索引；站点地图提交也不保证收录。如果一半页面用日志判断、另一半用索引查询判断，对照组从一开始就混入了口径差异。
实际操作：从同一批页面中随机抽取约二十条，同时记录“是否有抓取日志”“是否能查到索引条目”两个字段。若两者不一致的比例很高，先解决口径问题，再谈对照组；若基本一致，就可以用其中一个稳定字段作为分组依据。
按唯一差异配对，而不是按目录整批切分
常见的错误做法是“A 目录收录好、B 目录收录差，所以问题在 B 目录”。目录往往同时捆绑了模板、内链数量、上线时间、内容类型等多个变量，无法定位到单一原因。正确的做法是找到一组除一个条件外其余都相同的页面，形成对照。
假设情境（以下为假设，非真实项目）：某站点有 400 个商品页，其中约 120 个能被查到索引条目，其余查不到。运营先按“是否在首页有入口”分组，发现差异明显，但首页入口同时意味着外链更多、点击更多，仍不是唯一差异。于是改为配对：在同一分类下，挑选内容长度接近、上线时间接近、模板相同的页面，唯一差别是“详情页是否被列表页直接链接”。这样就得到了一组相对干净的对照。
可区分的证据类型：
- 抓取层面：未发现页面是否从未出现在日志中，还是被抓取后未进入索引。
- 链接层面：是否只有通过多层分页或站内搜索才能到达。
- 内容层面：同一模板下正文主体是否为空或高度重复。
- 状态层面：返回状态码、canonical 指向是否一致。
如果未发现页面在日志中完全缺席，优先怀疑可发现路径；如果被抓取却未进入索引，重点转向内容与 canonical 判断。这两类的下一步动作完全不同，混在一起做只会互相干扰。
控制样本量与观察窗口，避免用单次快照下结论
对照组要能支撑判断，需要两个条件：每组样本足够、观察窗口一致。样本太少时，个别页面的偶然差异会被误当成规律；观察窗口不一致时，新页面可能只是还没被处理，而不是被拒绝。
可执行的做法：每组至少取三十条，且两组的“上线至今时长”分布接近。先记录当前状态，再在固定间隔后复查一次，看两组的差距是扩大、缩小还是不变。如果差距随时间收敛，说明更可能是处理延迟；如果持续存在，才值得继续深挖。
需要提醒的是，抓取量或索引量归零，并不能单独证明某个处理动作正确。它还可能来自抓取预算调整、站点整体改版、外部链接变化等合理解释。对照组的意义正是把这些替代解释尽量排除。
把结论落成一个可回退的动作
当对照组指向某个唯一差异后，下一步是只改这一个条件，并保留回退路径。例如假设配对结论指向“缺少列表页直接链接”，那么动作是给其中一组未发现页面补上站内链接入口，另一组保持原样作为对照。
这个动作的结果会直接决定下一步：如果补链后该组被发现比例上升，而对照组不变，说明可发现路径是主要瓶颈，可以扩大范围处理；如果两组都没变化，说明问题不在链接层，应回到抓取日志检查是否被其他规则拦截，或转向内容与 canonical 层面排查。每次只动一个变量，才能让下一次判断仍然成立。
