Копирование текста из PDF-файла и вставка его в текстовый процессор часто приводит к появлению текста, пронизанного нежелательными разрывами строк. Каждая строка исходного PDF-файла становится отдельным абзацем во вставленном выводе. Абзац, занимавший на странице PDF пять строк, вставляется как пять отдельных фрагментов текста. Извлечение PDF в Text с соблюдением границ абзацев требует понимания того, как PDF-файлы хранят текст, и использования инструментов извлечения, которые восстанавливают абзацы из отдельных текстовых строк.
PDF-файлы хранят текст в виде символов, расположенных на странице. Понятие абзаца не существует во внутренней модели данных PDF. Символы размещаются по определенным координатам, а разрывы строк подразумеваются в вертикальном промежутке между текстовыми строками. Инструменты извлечения, которые просто считывают символы по порядку и вставляют новую строку в каждый вертикальный пробел, выдают фрагментированный результат, из-за которого работать с вставленным текстом PDF очень сложно.
Инструменты Extract PDF Data WukongPDF сохраняют структуру абзацев во время извлечения текста, создавая чистый результат, готовый к редактированию.
Почему извлечение текста PDF добавляет нежелательные разрывы строк
Рассмотрим абзац PDF, состоящий из пяти строк. Внутри PDF-файла хранятся пять отдельных текстовых объектов, каждый из которых расположен в разных вертикальных координатах. Простой инструмент извлечения считывает каждый текстовый объект и добавляет после него новую строку. В результате получается пять строк текста, разделенных жестким возвратом, каждая из которых обрабатывается текстовыми процессорами как независимый абзац. Перекомпоновка текста требует ручного соединения строк.
Улучшенные инструменты извлечения определяют границы абзацев, анализируя вертикальное расстояние между строками текста. Строки внутри абзаца имеют одинаковый межстрочный интервал. Разрыв между абзацами больше или может включать дополнительный интервал, например отступ на следующей строке. Инструмент группирует строки с одинаковым интервалом в абзацы и вставляет один разрыв абзаца на границе. PDF Format — это то, что отличает полезное извлечение текста от фрагментированного вывода.
Извлечение чистого текста с помощью Adobe Acrobat Pro
Функция экспорта в Word в Acrobat Pro включает обнаружение абзацев. Перейдите в «Файл», «Экспорт», «Microsoft Word», «Документ Word». В настройках экспорта установите флажок «Сохранить плавный текст», чтобы сохранить структуру абзаца. Acrobat анализирует расположение текста и восстанавливает абзацы. Выходной файл DOCX должен содержать чистые абзацы без нежелательных разрывов строк.
Откройте экспортированный DOCX и просканируйте его на наличие артефактов разрыва строки. Абзацы, содержащие таблицы, маркированные списки или столбцы, по-прежнему могут иметь проблемы, поскольку сложный макет затрудняет обнаружение абзаца. В этих областях вручную соедините ломаные линии и убедитесь, что структура абзацев соответствует исходному PDF-файлу. Экспорт Acrobat корректно обрабатывает от 80 до 90 процентов абзацев. Остальные крайние случаи требуют ручного вмешательства.
Метод копирования-вставки с очисткой
Для коротких документов самый быстрый способ — скопировать текст из PDF-файла, вставить его в текстовый редактор и очистить вручную. Выделите весь текст в PDF-файле, скопируйте и вставьте в Блокнот или аналогичный редактор. Текст появляется с нежелательными разрывами строк после каждой строки. Используйте функцию «Найти и заменить», чтобы удалить одиночные разрывы строк, сохраняя при этом двойные разрывы строк, обозначающие границы абзаца.
В большинстве текстовых редакторов найдите одну новую строку и замените ее пробелом, затем найдите две последовательные новые строки и замените их одной новой строкой. Это объединяет строки внутри абзацев, сохраняя разрывы абзацев. Ручной метод работает для документов объемом до пяти страниц. Помимо этого, подход «найти и заменить» становится утомительным и подверженным ошибкам.
Программное извлечение с помощью Python и pdfplumber
Библиотека pdfplumber для Python обеспечивает детальный контроль над извлечением текста. Он может извлекать текст из определенных областей страницы, обнаруживать таблицы и сохранять структуру абзацев. Базовый сценарий извлечения открывает PDF-файл, проходит по страницам и вызывает page.extract_text(). Настройки библиотеки по умолчанию обеспечивают разумную работу по обнаружению абзацев для простых макетов.
Когда дело доходит до рабочих процессов с документами и сложных макетов, pdfplumber позволяет указать стратегии извлечения. Метод extract_text принимает параметры для пороговых значений интервалов между символами и словами, которые управляют тем, как библиотека группирует символы в слова и строки. Отрегулируйте эти пороговые значения для документов с необычной типографикой, таких как научные статьи с плотным текстом или маркетинговые материалы с переменным межстрочным интервалом.
| Метод | Качество вывода | Наилучший вариант для |
|---|---|---|
| Экспорт из Acrobat в Word | Хорошо, сохраняет структуру абзацев | Простая планировка, мало таблиц. |
| Копипаст с очисткой | Переменная, требует ручной работы | Короткие документы, быстрые выдержки |
| Python + pdfсантехник | Отлично, полный контроль | Пакетная обработка, сложные документы |
Постобработка извлеченного текста для профессионального использования
После извлечения запустите проверку качества текста перед его использованием. Найдите распространенные артефакты: двойные пробелы, которые должны быть одинарными, дефисы на концах строк, которые следует удалить, а также элементы нумерованного списка, объединенные в один абзац. Пятиминутный этап очистки улавливает эти артефакты и создает текст, который читается так же плавно, как и исходный PDF-файл.
Когда дело доходит до рабочих процессов с документами, для периодического извлечения из PDF-файлов одинакового формата создайте сценарий постобработки, который применяет одни и те же правила очистки к каждому извлечению. Скрипт автоматически выполняет удаление дефиса, нормализацию пространства и обнаружение списка. После нескольких циклов извлечения скрипт настраивается на конкретный формат документа и создает чистый текст без ручного вмешательства.
Чистое извлечение текста абзаца из PDF-файлов достижимо с помощью правильных инструментов и реалистичного ожидания того, что в крайних случаях может потребоваться ручная очистка. Время, сэкономленное за счет автоматического извлечения по сравнению с перепечатыванием вручную, оправдывает небольшие инвестиции в настройку рабочего процесса извлечения.
Сохранение исходного форматирования при объединении извлеченных абзацев
После извлечения чистого текста абзаца вы можете повторно применить форматирование, например жирный и курсив, из исходного PDF-файла. Экспорт Acrobat в Word сохраняет базовое форматирование. Для программного извлечения pdfplumber или PyMuPDF могут извлекать текст с информацией о шрифте, включая метаданные полужирного, курсива и размера шрифта.
Для восстановления форматированного текста из извлеченных метаданных шрифта требуется обработка, которая сопоставляет атрибуты шрифта с выходным форматированием. Сценарий, генерирующий Markdown или HTML с тегами, выделенными жирным шрифтом и курсивом, создает отформатированную версию, которая сохраняет визуальную иерархию оригинала, но при этом ее можно редактировать в любом текстовом редакторе.
В типичных рабочих процессах при извлечении текста для конвейеров обработки естественного языка качество реконструкции абзацев напрямую влияет на производительность последующей модели. Чистые абзацы дают более качественные обучающие данные. Фрагментированный текст с разрывами строк создает шум, который снижает точность модели.
Для извлечения архивного текста извлеченный текст следует сохранить вместе с исходным PDF-файлом. Текстовый файл представляет собой независимую от формата версию, которую можно читать, даже если программное обеспечение для рендеринга PDF станет недоступно в отдаленном будущем.
На практике разница между хорошим и плохим извлечением текста наиболее очевидна, когда текст читается вслух с помощью программы чтения с экрана. Чистые абзацы с естественным потоком предложений звучат как человеческая речь. Фрагментированный текст с разрывами артефактов звучит прерывисто и бессвязно.
Точность извлечения текста повышается по мере практики и знакомства с форматированием исходного документа. После извлечения текста из документов, созданных с помощью того же программного обеспечения, вы узнаете характерные артефакты и сможете соответствующим образом настроить параметры или правила постобработки.
С практической точки зрения, на практике рабочий процесс извлечения текста PDF должен включать этап проверки, сравнивающий количество слов извлеченного текста с подсчетом вручную на странице-образце. Несоответствие указывает на проблемы извлечения, которые требуют исследования.
При обработке документов, содержащих математические уравнения или научные обозначения, стандартное извлечение текста часто не позволяет правильно передать обозначения. Существуют специализированные инструменты извлечения STEM, которые более точно обрабатывают форматирование уравнений.
Кодировку извлеченного текста следует проверить, особенно для документов, содержащих символы, отличные от ASCII. Вывод UTF-8 сохраняет все наборы символов. Вывод ASCII может автоматически отбрасывать или искажать символы из неанглийских сценариев.
Текст, извлеченный из отсканированных PDF-файлов, обработанных с помощью OCR, имеет уровень достоверности OCR для каждого слова. Слова с высоким уровнем достоверности, как правило, точны. Слова с низким уровнем достоверности следует сверять с исходным изображением страницы.
Пакетное извлечение текста из нескольких PDF-файлов должно включать файл манифеста со списком каждого входного файла и его извлеченных выходных данных. Манифест позволяет программную обработку извлеченного текстового корпуса без ручного управления файлами.
Со временем при извлечении текста для индексации поисковыми системами добавляйте метаданные документа в извлеченные выходные данные. Название, автор и дата создания предоставляют контекст, который повышает релевантность поиска, когда извлеченный текст добавляется в поисковый индекс.
В большинстве инструментов извлечение текста из PDF-файлов, защищенных паролем, требует предоставления пароля инструменту извлечения. Конвейерам автоматического извлечения необходимо безопасное хранилище учетных данных, которое не раскрывает пароли в виде обычного текста.
Регулярное тестирование извлечения текста из образцов документов в библиотеке документов позволяет выявить регрессии. Изменение качества извлечения может указывать на то, что программное обеспечение для создания PDF-файлов было обновлено и теперь создает текст по-другому.
Чистое извлечение текста из PDF-файлов — это основополагающий навык, который помогает выполнять десятки последующих задач: перепрофилирование контента, исправление доступности, перевод, поисковое индексирование и анализ данных. Каждая из этих задач зависит от качества извлеченного текста. Инвестиции в качество добычи в источнике улучшают результаты во всех последующих приложениях.
Чистое извлечение текста из PDF-файлов — это основополагающий навык для перепрофилирования контента. Извлеченный текст, освобожденный от разрывов строк, может быть использован в переводах, инструментах обеспечения специальных возможностей, поисковых индексах и новых документах без дополнительной очистки. Качество добычи определяет качество всего, что происходит дальше.