关键词挖掘工具推荐：报告页数与实际对象数量不一致怎样去重
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /daffbf784ed3.html
📄
关键词挖掘工具推荐：报告页数与实际对象数量不一致怎样去重
先给结论：报告页数不等于对象数量，去重前要把“页”换算成“对象”，再按对象标识合并。缺少完整数据或权限时，最小动作是抽取若干页做抽样核对，确认重复来自分页、同一对象多行，还是同一对象被不同来源分别列出；这只能支持对当前样本的判断，不能推出全量报告的真实对象数。
先判断重复发生在哪一层
报告页数与实际对象数量不一致，常见原因有三类。第一类是分页重复：同一对象因排序不稳定或翻页参数变化，出现在两页里。第二类是行级重复：一个对象对应多个变体、多个地区或多个匹配类型，被拆成多行。第三类是来源重复：同一对象从不同来源分别进入报告，字段格式不同，看起来像两个对象。
区分方法不复杂。抽三到五页，按对象标识排序，观察重复项是否成对出现，以及重复项的其它字段是否完全一致。如果除页码外全部一致，偏向分页重复；如果标识一致但变体字段不同，偏向行级重复；如果标识写法不同但指向同一对象，偏向来源重复。这里的关键是先把对象标识确定下来，再谈去重，否则会把本应保留的多个变体误删。
条件一：能拿到逐行数据时，按对象标识合并
能导出逐行数据时，优先做标识级去重，而不是按页去重。动作顺序是：先统一标识字段的格式，例如去除多余空格、统一大小写、统一分隔符；再按标识分组，统计每组行数和来源数；最后决定保留策略。
保留策略取决于用途。如果报告用于看对象覆盖面，同一对象只保留一行，来源和变体合并到附加字段。如果报告用于看变体表现，则不能按对象标识直接删行，而应按“对象标识加变体标识”的组合去重。判断依据是下一步要回答的问题：问“有多少个对象”就按对象去重，问“每个对象有多少种表现”就按组合去重。
实施后要回看两个数：去重前后的行数差，以及去重后仍存在同标识多行的组数。如果第二项不为零，说明标识还没统一，下一步应继续规范格式，而不是直接进入分析。
条件二：只有报告页数、缺少逐行权限时，做抽样估算并标注边界
缺少完整数据或导出权限时，仍可执行一个最小动作：固定抽样规则，抽取若干页，逐页记录对象标识、重复次数和重复类型，算出样本内的重复率区间。这里必须注明假设，例如假设抽样页在报告中的分布具有代表性。
假设某报告显示二十页，每页约五十行，抽样五页后发现同一标识平均出现一点二次，那么可粗略推算对象数量约为总行数除以一点二。这个数字只能作为量级参考。它不能推出全量报告的精确对象数，也不能证明重复只发生在被抽到的页里。若抽样页集中在报告前部，而排序又按来源聚集，估算偏差会明显变大。
这种条件下的正确做法是把估算值标为“待核”，并列出需要补齐的权限或字段。下一步动作取决于缺口：缺导出权限就申请逐行数据；缺来源字段就先补来源标记；缺稳定排序就先固定排序规则再重新抽样。
去重后还要检查的三件事
- 检查被合并的行是否携带了不同来源或不同变体。如果有，合并会丢失区分信息，应改为组合去重或保留来源字段。
- 检查标识字段是否存在空值或占位值。空值被当成同一对象合并，会把无关行压成一行，这类行应单独列出而不是直接去重。
- 检查去重结果与原始页数的关系。页数减少但对象数未变，说明只是排版或分页变化；页数和对象数同时减少，才说明确实发生了对象级合并。
完成上述检查后，再决定是否把结果交给执行人员。若仍存在无法解释的重复，优先回到标识定义和来源字段，而不是继续增加抽样页数；抽样只能提高估算精度，不能替代标识统一。
什么时候不该继续去重
有两种例外。第一种是报告本身要求保留每个变体或每个来源，此时“重复”是分析对象，不应删除。第二种是标识本身不可靠，例如同一对象在不同来源下写法差异过大，强行去重会误合并。遇到这两种情况，正确动作是先补一个可核对的映射表，再谈合并；在映射表完成前，只输出带重复标记的清单，不输出单一对象数。
去重的目的不是让数字变小，而是让数字对应到明确的对象定义。定义清楚后，页数不一致只是排版问题，对象数不一致才是需要处理的问题。
