谷歌权重工具，一次全站扫描被中断后怎样判断已覆盖范围
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5adf13bf7422.html
📄
谷歌权重工具，一次全站扫描被中断后怎样判断已覆盖范围
先别重跑。中断后最有价值的产物是本次扫描留下的日志和结果文件，它们能告诉你哪些URL真的被处理过、处理到哪一步、哪些只是排进队列却没有结果。判断覆盖范围的核心不是看进度条走了多少，而是把“已产出结果的URL”“已抓取但未评分的URL”“从未进入队列的URL”三类分开，再决定是续跑、缩小范围重跑，还是直接进入内容处置。
先分清三种“覆盖”，不要用同一个数字代替
全站扫描中断后，最容易犯的错是把“已发现URL数”当成“已覆盖URL数”。对判断旧内容去留来说，真正有意义的是下面三层，而且它们对应的动作完全不同。
- 已产出结果：有完整记录、有可比较的指标值。这部分可以直接进入筛选，用来决定保留、改写还是退出。
- 已抓取未完成：请求发出过，但评分、聚合或写入没走完。这部分不能当“没问题”，也不能当“已排除”，需要单独续跑。
- 未进入队列：因为中断发生在列表生成、分页推进或过滤阶段，根本没被处理。这部分是盲区，必须重新纳入。
只有第一类能支撑处置决策。第二类和第三类都属于待补，区别在于补的代价不同：续跑第二类通常便宜，重建第三类往往要重新走一遍发现流程。
用手里的日志还原覆盖边界
假设你手上有一个中断的扫描任务，留下了任务日志、部分结果文件和一份URL清单。按下面的顺序核对，能较快圈出真实边界。
- 打开结果文件，统计有完整记录的URL数量，记为A。这是可决策集合。
- 在日志里找出最后一次成功写入的时间点或批次标记，把此后的记录单独挑出来。这些多半属于已抓取未完成。
- 拿原始URL清单与结果文件做差集，得到“无任何记录”的集合，记为C。C里既包含未进入队列的，也可能包含被过滤规则主动跳过的。
- 检查过滤规则本身是否在中途被修改过。如果改过，C里会混入本应处理却被新规则挡掉的URL，需要单独还原。
这一步的实际动作是把A、B、C三个集合分别导出成独立清单。结果直接影响下一步：A可以直接进入保留与退出判断，B只需补跑评分，C要先确认是不是清单生成阶段就断了，再决定重建范围。
中断原因决定续跑还是重来
同样是中断，原因不同，覆盖判断的可信度也不同。可以按下面的证据区分。
- 如果是配额或请求限制触发暂停：已完成部分通常可靠，续跑时从最后成功批次之后接上即可。但要留意限流期间是否有请求被静默丢弃，这类丢失不会体现在错误计数里。
- 如果是进程崩溃或写入失败：最后若干批次可能既没写进结果，也没留下错误记录。此时A的边界要往前退一到两个批次，宁可多补一点。
- 如果是清单生成阶段就断了：那么结果文件里的A只覆盖了站点的一部分，C可能非常大，且分布不均，通常集中在目录靠后或分页靠后的区域。
一个可用的判断方法是随机抽取若干条C中的URL，手动确认它们是否真的从未被抓取。如果抽到的多数其实在日志里有痕迹，说明问题出在结果写入而非发现阶段，续跑成本低；如果抽到的确实毫无痕迹，且集中在某类路径下，更可能是发现阶段断裂，需要重建清单。
把覆盖结果转成退出与保留的处置清单
覆盖范围确认后，处置动作才有着落。以旧内容退出为例，可以这样落地：
- 在A集合内按“仍有外部引用或仍有访问价值”筛出保留项，其余标记为候选退出。
- 对候选退出项逐条确认是否被其他页面依赖，比如导航、内链或结构化数据引用。有依赖的先解除依赖，再退出。
- B集合补跑完成后并入A，重新走一遍上面的筛选，避免遗漏。
- C集合先补发现，再决定是否纳入评估。如果C本身规模很小，可以直接人工抽查，不必重跑全站。
这里的关键取舍是：不要为了追求一次完整扫描而阻塞处置。如果A已经覆盖了站点的主要目录，可以先对A执行退出动作，同时把B和C作为补跑任务排期。反之，如果C占比很高且集中在重要目录，先补发现再决策更稳妥。
假设例子：怎样用一次抽样决定是否重跑
假设某次扫描在完成约六成批次后中断，结果文件里有记录的是A，日志尾部有一批无结果记录，原始清单与结果文件的差集是C。此时从C中随机取二十条URL，逐条在日志里搜索。若其中十五条能搜到请求痕迹，说明大部分C其实已被抓取，只是结果没落盘，续跑评分即可；若只有两三条有痕迹，说明C确实没进过队列，需要重建发现流程。这个抽样不保证结论精确，但它用很小的成本把“续跑”和“重跑”两个方向区分开，避免直接重跑造成重复劳动。具体抽样数量应按站点规模和可接受误差自行调整。
需要留意的适用条件
上面的方法成立的前提是：扫描过程留下了可读的日志或批次标记，且原始URL清单可获取。如果工具只提供汇总数字、不保留逐条记录，那么覆盖边界无法从现有产物还原，只能以重新扫描为准。此外，如果站点在中断期间发生过发布、删除或改版，旧清单与当前状态已经不一致，续跑前应先确认URL是否仍然有效，否则补跑结果会混入大量无效请求。具体工具是否保留批次日志、导出格式如何，需要以你实际使用的版本为准进行核对。
