从数据库导出的 PDF 表包含 500 行。打开文件会显示每行两次，或者某些条目在返回重复项的源查询中以某种模式重复。 PDF 本身没有损坏。里面的数据有重复的内容，删除这些重复内容意味着要么直接编辑PDF，大多数工具不支持行级操作，要么提取，外部重复数据删除，并重新创建一个干净的版本。
PDF 不是电子表格。您无法单击按钮来删除重复的行。但您可以取出数据，清理它，然后将其放回去。
从PDF编辑器文档中删除重复行需要将PDF内容转换为可编辑格式，进行重复数据删除，并可选择重新创建PDF。 WukongPDF的Fix PDF和转换工具处理提取，下面的工作流程涵盖了完整的重复数据删除管道。
将内容提取为可编辑格式
将文本从 PDF 中取出并转换为适合重复数据删除的格式是关键的第一步。如果内容是表格且列一致，则导出到 Excel。如果内容是带段落的运行文本，则导出到 Word。如果结构简单，则导出为纯文本。导出格式的选择遵循内容结构。
表格数据因其内置的重复数据删除工具而属于 Excel。选择数据范围，转到数据选项卡，然后单击删除重复项。选择定义重复项的列，通常是精确行匹配的所有列。 Excel 会删除除第一次出现之外的所有重复项，从而在几秒钟内处理数千行。
PDF 到 Excel 转换后在 Excel 中进行重复数据删除
Excel 的删除重复项适用于所选列之间的精确匹配。接近重复的行、相同的数据但不同的格式或空白，需要首先清理。使用 TRIM 修剪多余的空格。使用 UPPER 或 LOWER 标准化大小写。使用 CLEAN 删除非打印字符。重复数据删除之前的数据更干净意味着发现更多的重复项。
如果需要检查，请先突出显示重复项，然后再将其删除。条件格式、突出显示单元格规则、重复值，显示哪些行是重复的而不删除任何内容。检查突出显示的行，确认它们是真正的重复项，然后删除。此审查捕获了两行看起来相似但实际上是不同的交易且碰巧共享相同美元金额的情况。
在 Word 中对基于文本的 PDF 进行重复数据删除
运行具有重复段落的文本需要将 Word 的查找和替换与通配符模式相结合。可以找到连续出现两次的段落并将其减少为单个实例。这可以处理精确的重复项，但不能处理相差一两个单词的近似重复项。
对于叙述性文本，手动审核比自动化更可靠。扫描重复的段落。引言和结论中同时出现的段落可能是为了达到修辞效果而故意重复，而不是重复错误。自动化工具无法区分有意重复和无意重复。文本去重需要人工判断，其中上下文决定重复是否正确。
| 内容类型 | 导出至 | 重复数据删除方法 | 注意 |
|---|---|---|---|
| 带列的表格数据 | Excel | 数据>删除重复项 | 检查选择用于匹配的所有列是否正确 |
| 简单列表，每行一项 | 纯文本或 Excel | 排序并删除重复项，或 Excel 重复数据删除 | 排序可能会丢失原来的顺序；首先添加索引列 |
| 运行文本、段落 | 单词 | 手动审核，或查找通配符重复项 | 故意重复可能会被意外删除 |
| 混合内容 | Excel 用于表格，Word 用于文本 | 按内容类型拆分，分别对每个内容进行重复数据删除 | 必须保留重新组装顺序 |
重复数据删除后重新创建干净的 PDF
在 Excel 或 Word 中删除重复项后，通过“另存为 PDF”或在线转换器将干净的文件另存为新的 PDF。生成的 PDF 包含干净的数据，没有重复项。比较原始 PDF 和清理后的 PDF 页数。如果原始文件有 500 行，其中 50 行是重复的，则清理后的 PDF 的页面数应减少大约 10%。页数减少证实了重复数据删除的效果。
将原始 PDF 保留为未修改的备份，直到验证清理后的版本。如果删除原始数据，则无法撤消过于激进的重复数据删除操作，并且将唯一行与重复行一起删除。保留原件，直到验证确认清理后的版本正确且完整。
对大型或重复作业使用脚本式重复数据删除
Python 的 pandas 库可以比 Excel 的内置工具更灵活地处理大型数据集的重复数据删除。读取导出数据、应用具有可配置匹配条件的重复数据删除逻辑以及输出干净文件的脚本在几秒钟内运行，无论行数如何。该脚本处理边缘情况，什么算作重复，要保留哪些事件，是否记录删除的行，以及记录所应用的确切逻辑的代码。
对于重复的重复数据删除作业，该脚本是永久资产。每周生成的具有相同重复模式的相同 PDF 报告每周都会由相同的脚本进行清理。最初 30 分钟的脚本投入可以节省全年的手动重复数据删除时间。对脚本进行版本控制，以便未来的维护人员可以看到重复数据删除逻辑，并在源数据格式发生变化时对其进行调整。
从源头防止重复内容
PDF 中的重复内容通常源自创建 PDF 的数据库查询、报告生成器或合并过程的上游。修复源查询以使用 SELECT DISTINCT 或正确的 JOIN 条件。修复合并过程以检查重叠的页面范围。在源处删除的每个重复项都会阻止下游 PDF 重复数据删除会话。
PDF 重复数据删除工作流程可以解决症状。治愈方法存在于产生重复内容的任何系统中。记录重复项的来源并修复流程。第一次救援行动是可以理解的。同一来源的第二次出现相同重复的情况表明存在需要永久纠正的过程故障。