从 PDF 复制文本并将其粘贴到文字处理程序中通常会产生充满不需要的换行符的文本。原始 PDF 中的每一行在粘贴的输出中都会成为一个单独的段落。在 PDF 页面上占据五行的段落将粘贴为五个不相连的文本块。 PDF 到文本 尊重段落边界的提取需要了解 PDF 如何存储文本并使用提取工具从各个文本行重建段落。
PDF 文件将文本存储为页面上的定位字符。 PDF 的内部数据模型中不存在段落的概念。字符放置在特定的坐标处，换行符隐含在文本行之间的垂直间隙中。简单地按顺序读取字符并在每个垂直间隙插入换行符的提取工具会产生碎片化的输出，这使得粘贴的 PDF 文本使用起来非常令人沮丧。
WukongPDF 的提取 PDF 数据 工具在文本提取过程中保留段落结构，生成可供编辑的干净输出。
为什么 PDF 文本提取会添加不需要的换行符
考虑一个跨五行的 PDF 段落。在内部，PDF 存储五个单独的文本对象，每个对象位于不同的垂直坐标处。简单的提取工具读取每个文本对象并在其后附加换行符。结果是由硬回车分隔的五行文本，每行都被文字处理器视为一个独立的段落。重排文本需要手动将行重新连接在一起。
更好的提取工具通过分析文本行之间的垂直间距来检测段落边界。段落内的行具有一致的行距。段落之间的间隙较大，或者可能包括额外的间距，例如下一行的缩进。该工具将具有规则间距的行分组为段落，并在边界处插入单个段落分隔符。 PDF 格式 意识是将可用文本提取与碎片输出区分开来的。
使用 Adobe Acrobat Pro 提取干净文本
Acrobat Pro 的导出到 Word 功能包括段落检测。转到文件、导出、Microsoft Word、Word 文档。在导出设置中，选中保留流动文本以保留段落结构。 Acrobat 分析文本布局并重建段落。输出 DOCX 文件应具有干净的段落，没有不需要的换行符。
打开导出的 DOCX 并扫描换行符。包含表格、项目符号列表或列的段落可能仍然存在问题，因为复杂的布局会混淆段落检测。对于这些区域，手动连接断线并验证段落结构是否与原始 PDF 匹配。 Acrobat 导出可以正确处理 80% 到 90% 的段落。其余的边缘情况需要手动关注。
复制粘贴清理方法
对于短文档，最快的方法是从 PDF 复制文本，将其粘贴到纯文本编辑器中，然后手动清理。选择 PDF 中的所有文本，复制并粘贴到记事本或类似编辑器中。文本每行后面都会出现不需要的换行符。使用查找和替换来删除单换行符，同时保留指示段落边界的双换行符。
在大多数文本编辑器中，搜索单个换行符并替换为空格，然后搜索两个连续换行符并替换为单个换行符。这会连接段落内的行，同时保留段落分隔符。手动方法适用于最多大约五页的文档。除此之外，查找和替换方法变得乏味且容易出错。
使用 Python 和 pdfplumber 进行编程提取
Python 的 pdfplumber 库提供了对文本提取的细粒度控制。它可以从特定页面区域提取文本、检测表格并保留段落结构。基本的提取脚本会打开 PDF、遍历页面并调用 page.extract_text()。该库的默认设置可以对简单布局进行合理的段落检测。
当涉及文档工作流程时，对于复杂的布局，pdfplumber 允许您指定提取策略。 extract_text 方法接受字符和单词间距阈值的参数，这些参数控制库如何将字符分组为单词和行。针对具有不寻常排版的文档（例如具有密集文本的学术论文或具有可变行距的营销材料）调整这些阈值。
| 方法 | 输出质量 | 最适合 |
|---|---|---|
| Acrobat 导出到 Word | 好，保留段落结构 | 布局简单，桌子很少 |
| 复制粘贴并清理 | 可变，需要手动工作 | 简短的文档，快速摘录 |
| Python + pdfplumber | 优秀，完全控制 | 批量处理、复杂文档 |
对专业用途的提取文本进行后处理
提取后，在使用文本之前对其进行质量检查。搜索常见的工件：本应是单空格的双空格、应删除的行末尾的连字符以及已合并到单个段落中的编号列表项。五分钟的清理过程可以捕获这些伪影，并生成与原始 PDF 一样流畅阅读的文本。
当涉及文档工作流程时，为了从类似格式的 PDF 中重复提取，请构建一个后处理脚本，将相同的清理规则应用于每次提取。该脚本自动处理连字符删除、空格标准化和列表检测。经过几个提取周期后，脚本将调整为特定的文档格式并生成干净的文本，无需手动干预。
使用正确的工具和对边缘情况可能需要手动清理的现实期望，可以实现从 PDF 中清晰地提取段落文本。与手动重新输入相比，自动提取节省的时间证明在设置提取工作流程方面的少量投资是值得的。
连接提取段落时保留原始格式
提取干净的段落文本后，您可能需要重新应用原始 PDF 中的格式，例如粗体和斜体。 Acrobat 导出到 Word 保留基本格式。对于编程提取，pdfplumber 或 PyMuPDF 可以提取带有字体信息的文本，包括粗体、斜体和字体大小元数据。
从提取的字体元数据重建格式化文本需要将字体属性映射到输出格式的处理。生成带有粗体和斜体标签的 Markdown 或 HTML 的脚本会生成一个格式化版本，该版本保留原始版本的视觉层次结构，同时可以在任何文本编辑器中进行编辑。
在典型的工作流程中，当为自然语言处理管道提取文本时，段落重建质量直接影响下游模型的性能。干净的段落可以产生更好的训练数据。带有工件换行符的碎片文本会引入噪声，从而降低模型的准确性。
对于存档文本提取，提取的文本应与原始 PDF 一起保存。即使 PDF 渲染软件在遥远的将来不可用，文本文件也提供了可读的独立于格式的版本。
在实践中，当屏幕阅读器大声朗读文本时，好的和差的文本提取之间的差异最为明显。干净的段落和自然的句子听起来就像人类的语言。带有瑕疵的碎片文本听起来断断续续且脱节。
通过练习和熟悉源文档格式，可以提高文本提取的准确性。从同一软件生成的文档中提取文本后，您可以了解特征工件，并可以相应地调整设置或后处理规则。
从实践的角度来看，实际上，PDF 文本提取工作流程应包括一个验证步骤，将提取的文本字数与示例页面的手动计数进行比较。差异表明需要调查的提取问题。
在文档处理中，对于包含数学方程或科学记数法的文档，标准文本提取通常无法正确捕获符号。存在专门的 STEM 提取工具，可以更准确地处理方程格式。
应验证提取文本的编码，特别是对于包含非 ASCII 字符的文档。 UTF-8 输出保留所有字符集。 ASCII 输出可能会默默地删除或破坏非英语脚本中的字符。
从经过 OCR 处理的扫描 PDF 中提取的文本带有每个单词的 OCR 置信度。高置信度的词语通常是准确的。应根据原始页面图像验证低置信度单词。
从多个 PDF 中批量提取文本应包括一个清单文件，列出每个输入文件及其提取的输出。该清单允许对提取的文本语料库进行编程处理，而无需手动文件管理。
随着时间的推移，在提取文本以进行搜索引擎索引时，请在提取的输出中包含文档元数据。当提取的文本添加到搜索索引时，标题、作者和创建日期提供了可提高搜索相关性的上下文。
在大多数工具中，从受密码保护的 PDF 中提取文本需要向提取工具提供密码。自动提取管道需要安全的凭证存储，不能以纯文本形式暴露密码。
从文档库中的示例文档中进行常规文本提取测试可监控回归情况。提取质量的变化可能表明 PDF 生成软件已更新，现在以不同的方式生成文本。
从 PDF 中提取干净的文本是一项基本技能，支持数十种下游任务：内容重新利用、可访问性修复、翻译、搜索索引和数据分析。这些任务中的每一个都取决于提取文本的质量。在源头投资提取质量可以改善每个下游应用的结果。
从 PDF 中提取干净的文本是内容再利用的一项基本技能。提取的文本一旦没有工件换行符，就可以流入翻译、辅助工具、搜索索引和新文档，而无需额外的清理。提取的质量决定了下游所有产品的质量。