合并两个共享重叠内容的 PDF 在文档审阅、电子取证和合同合并中很常见。供应商发送了一份修订后的提案，其中包括与原始版本相同的三页，以及两页新页面。当您合并两个版本时，这三个未更改的页面会出现两次。在数百页合并中手动识别和删除重复项是乏味且容易出错的。可以在合并期间或之后自动检测和删除重复页面的工具可以节省手动比较的时间。
自动重复数据删除将一个令人头痛的问题变成了一个复选框。
具有内置重复检测功能的智能合并 PDF工作流程会在生成合并输出之前比较所有源文档中每个页面的内容。当两个页面匹配时，该工具会保留一份副本并丢弃重复的副本。 WukongPDF 的合并工具与PDF 页面 重复数据删除检查相结合，可处理最常见的情况：组合文档的多个版本并生成干净的最终版本，每个页面只出现一次。
PDF 合并后如何出现重复页面
修订周期产生最多的重复项。一份合同要经过五轮编辑。每轮都会生成一个新的 PDF。有人合并了所有五个版本以存档书面记录，现在接收者必须通读五个几乎相同的文档才能找到更改的内容。月度报告合并从每个月的文件中添加相同的封面页和样板。发现文件组合复制了多方制作的同一展览。扫描批次在不同的扫描会话中两次捕获同一页面。每个场景都会以其自己的模式生成重复的页面。
音量增加得很快。每个文件中具有相同封面和免责声明的 500 页月度报告合并可能会包含 60 个或更多重复页面。手动滚动缩略图来查找它们是不现实的。自动检测成为该规模的唯一实用选择。文件大小也有好处：从 500 页文档中删除 60 个冗余页面可以将文件缩小 10-15%，当合并的文件必须通过电子邮件服务器过滤器或具有大小上限的上传门户时，这一点很重要。
使用内容哈希来检测精确的重复页面
内容哈希提供最可靠的精确匹配检测。该工具以标准分辨率（通常为 150-200 DPI）将每个页面渲染为像素图，计算像素数据的加密哈希值，并比较所有页面的哈希值。相同的像素产生相同的哈希值。共享散列的页面是精确的视觉重复，可以安全地折叠为单个副本。当散列匹配时不会出现误报，页面在像素级别上确实相同。
此方法从任何源文件、制作者或创建日期捕获精确的重复项。问题是，即使是微小的视觉差异也会产生不同的哈希值。标题中的不同日期、贝茨编号标记或略有不同的扫描倾斜都会破坏匹配。对于那些接近重复的，需要感知方法。但对于包含两次完全相同的页面的常见情况，散列是快速、确定性且完全准确的。
处理内容散列遗漏的近似重复页面
近似重复的页面共享大部分内容，但在小细节上有所不同。昨天日期与今天日期的合同页面，或者在两个会话中以稍微不同的角度捕获的扫描页面，将不会进行哈希匹配。感知散列和结构相似性比较通过比较整体视觉模式而不是精确像素来处理这些问题，捕获对人类来说看起来相同的页面，即使位不同。
模糊匹配阈值可让您调整灵敏度。 95% 相似度的阈值可捕获最接近的重复项，同时避免填充不同数据的表单模板页面上的错误匹配。较高的阈值适合合同合并，其中接近重复的内容几乎总是真正的重复内容，并进行了较小的日期或版本调整。较低的阈值可以防止错误地合并共享模板但包含不同信息的表单实例。在运行整个批次之前测试小样本的阈值。五分钟的阈值校准可防止数小时的手动误报检查。
| 检测方法 | 它抓住了什么 | 它错过了什么 |
|---|---|---|
| 精确的像素哈希 (MD5/SHA) | 来自任何来源的相同视觉页面 | 近似重复但有细微差别 |
| 感知哈希（pHash） | 具有相似视觉布局的页面 | 布局不同但内容相同的页面 |
| 文本提取+文本哈希 | 具有相同文本内容的页面 | 扫描页面缺少文字层 |
| 结构比较（页面对象） | 共享相同内部对象的页面 | 来自不同 PDF 制作者的页面 |
合并期间与合并后应用重复删除
进程内重复数据删除胜过后处理。该工具将每个传入页面与内存中已合并的页面进行比较，并动态跳过重复项，直接生成干净的文件，无需第二次传递。桌面 PDF 工具和一些基于浏览器的平台在其合并操作期间提供此功能。合并和重复数据删除一步完成，与先合并再重复数据删除相比，总处理时间减少了一半。
合并后重复数据删除可处理合并工具缺乏检测或您收到的已合并文件充满重复项的情况。对文件运行重复扫描，查看标记的页面，然后删除或保留每一页。合并后方法还保留了审核跟踪：您可以准确地看到哪些页面被识别为重复项，并对每个页面做出深思熟虑的决定。对于法律和合规工作流程，每个页面删除都需要文档，这种可见性至关重要，甚至可能是案例协议所需要的。
验证重复数据删除输出
滚动浏览输出以确认唯一的页面幸存下来。相同模板包含不同数据的表单是风险最高的类别。文档末尾附近的页面（其中聚集了与版本相关的更改）也值得额外审查。删除唯一页面的误报比留下重复页面的误报危害更大。验证后，将清理后的文件保存在与重复数据删除前的版本明显区分的名称下。混淆两者会抹去工作时间。
具有法律意义的合并值得删除重复项的审核日志：删除了哪些页面、匹配了哪些页面以及原因。日志不需要正式，一个简单的编号列表就足以满足大多数目的。对于电子取证，文档删除日志应遵循案件的协议，以避免任何破坏的建议，尽管在正确记录的情况下，重复数据删除是文档生产工作流程的标准和可接受的部分。