Вам нужен текст из PDF-файла в формате, с которым вы можете работать. Не документ Word с форматированием, не PDF-файл с возможностью поиска и скрытым текстовым слоем, а обычный текстовый файл, в котором абзацы — это абзацы, а заголовки — это заголовки. Преобразование PDF в Text, сохраняющее структуру документа, дает вам контент, готовый для анализа, повторного использования или архивирования. Текстовый файл открывается в любом редакторе, может обрабатываться скриптами и будет доступен для чтения спустя десятилетия, когда текущие форматы документов могут устареть.
Ценность хорошо структурированного экспорта текста выходит за рамки удобства. Обычный текст — самый портативный цифровой формат из когда-либо созданных. Текстовый файл, написанный в 1970 году, открывается так же легко, как и написанный вчера. Преобразование PDF-файлов в чистый структурированный текст гарантирует, что содержимое документа останется доступным независимо от развития программного обеспечения.
Почему простая копипаста не сохраняет структуру абзаца
Когда вы выбираете весь текст в PDF-файле и копируете его, буфер обмена получает текст в том порядке, в котором он появляется в потоке содержимого PDF. Поток контента представляет собой последовательность инструкций рисования, а не логическую структуру документа. Разрывы строк появляются там, где исходный создатель PDF-файла разместил текст по размеру страницы. Разрывы абзацев могут быть представлены дополнительным межстрочным интервалом, который теряется при захвате буфера обмена. Заголовки могут отображаться как обычный текст без указания их структурной роли.
Результат копирования и вставки требует ручного переформатирования для восстановления исходной структуры абзаца. Вам необходимо просмотреть вставленный текст, определить, где начинаются и заканчиваются абзацы, удалить жесткие разрывы строк, которые заключают текст в абзацы, и добавить разрывы абзацев там, где они должны быть. Для многостраничного документа очистка вручную может занять больше времени, чем повторный ввод содержимого.
Внутреннее представление текста PDF Format фундаментально отличается от того, как текст представляют текстовые процессоры. Текстовые процессоры сохраняют текст в виде потока с маркерами абзаца. PDF-файлы хранят текст в виде символов, расположенных на странице. Для преобразования позиционированных символов в плавные абзацы требуется инструмент извлечения, который понимает типографские соглашения для обнаружения абзацев.
Понимание этой разницы является ключом к чистой экстракции.
Использование инструментов извлечения структурированного текста
Специальные инструменты извлечения текста анализируют PDF-файл на уровне данных и восстанавливают логическую структуру документа. Они определяют границы абзацев, просматривая межстрочный интервал, отступы и изменения шрифта. Они идентифицируют заголовки, обнаруживая более крупные размеры шрифта, жирное форматирование и шаблоны нумерации. В выводе сохраняется иерархия документа, отраженная в форматировании текста.
WukongPDF предоставляет возможности PDF Export для извлечения текста из PDF-файлов через браузер. При извлечении сохраняется структура абзацев, если исходный PDF-файл содержит достаточно информации о форматировании для его идентификации. Для PDF-файлов, в которых отсутствуют признаки форматирования, извлеченный текст сохраняет исходный порядок чтения.
Выбирая инструмент для извлечения текста, протестируйте его на документе, похожем на те, которые вы регулярно обрабатываете. Извлеките текст и сравните его с исходным PDF-файлом. Убедитесь, что границы абзацев правильны, заголовки различимы и что специальные символы, такие как буквы с диакритическими знаками и символы, сохраняются. Инструмент, который хорошо работает с одним типом документов, может плохо работать с другим.
Обработка специального контента во время извлечения текста
Таблицы — самый сложный тип контента для извлечения текста. Таблица в PDF-файле визуально представляет данные в строках и столбцах, но внутреннее представление может хранить ячейки в порядке чтения, порядке столбцов или в непредсказуемой последовательности. Инструменты извлечения текста, которые специально не обрабатывают таблицы, создают чередующийся текст, в котором значения столбца A появляются между значениями столбца B. Для PDF-файлов со значительным табличным содержанием рассмотрите возможность преобразования в CSV или Excel, а не в обычный текст.
Списки, как маркированные, так и нумерованные, могут потерять свою структуру во время извлечения, если символы или номера маркеров хранятся как отдельные позиционированные символы, а не как часть текстового потока. Извлеченный текст может отображать элементы списка как отдельные абзацы без указания того, что они принадлежат списку. Некоторые инструменты извлечения обнаруживают шаблоны списков и добавляют символы префикса, чтобы сохранить структуру списка.
Сноски и концевые сноски представляют собой пространственную проблему. В визуальном макете PDF сноска появляется внизу страницы, вдали от текста, который на нее ссылается. При извлечении текста сноска может появляться в середине абзаца, содержащего ссылку, или между несвязанными абзацами. Лучшие инструменты извлечения откладывают сноски в конец документа или вставляют их по границам абзацев.
Постобработка извлеченного текста для максимальной чистоты
После извлечения запустите очистку текстового файла. Используйте функцию «Найти и заменить», чтобы преобразовать несколько пробелов в одиночные. Удалите конечные пробелы в концах строк. Проверьте наличие распространенных артефактов оптического распознавания символов, если исходный PDF-файл был отсканирован: повторяющиеся символы, пропущенные пробелы между словами и неправильно распознанные знаки препинания.
Для документов, в которых идентификация заголовка имеет значение, отсканируйте извлеченный текст на предмет разделов, которые начинаются с жирного текста или текста, написанного заглавными буквами в начале строки. Эти шаблоны форматирования часто обозначают заголовки. Вручную помечайте заголовки одинаковым префиксом, например ## для заголовков второго уровня, чтобы структура документа была явно выражена в простом тексте.
Кодировка выходного текстового файла имеет значение для долгосрочного удобства использования. UTF-8 — это стандартная кодировка для современных текстовых файлов, поддерживающая символы практически всех систем письма. Текстовый файл, сохраненный в формате UTF-8, корректно открывается на любом современном устройстве. В старых кодировках, таких как ASCII или Latin-1, теряются символы неанглийских языков. При экспорте текста из PDF-файла убедитесь, что инструмент экспорта использует кодировку UTF-8, или преобразуйте выходные данные в UTF-8 на этапе постобработки.
Для PDF-файлов, содержащих текст на нескольких языках, при извлечении текста должны обрабатываться наборы символов всех присутствующих языков. В английском документе, в котором встречаются французские или немецкие слова, используются символы, входящие в расширенный набор латинских символов. Документ, в котором смешаны английский и японский язык, требует полной поддержки Unicode. Большинство современных инструментов извлечения правильно обрабатывают многоязычный текст, но тестирование вывода на странице, содержащей текст не на английском языке, подтверждает обработку символов.
Верхние и нижние колонтитулы представляют собой повторяющийся текст во время извлечения, который может загромождать вывод. Номера страниц, названия документов и отметки даты, которые появляются на каждой странице, извлекаются вместе с основным содержимым. Некоторые инструменты извлечения могут обнаруживать и удалять повторяющийся текст верхнего и нижнего колонтитула. Если ваш инструмент не поддерживает эту функцию, сценарий постобработки, определяющий строки, повторяющиеся на нескольких страницах, может их отфильтровать.
Для PDF-файлов со сложной многоколоночной разметкой порядок извлечения текста может быть сложно определить программно. Академическая статья, состоящая из двух колонок, должна быть сначала выделена в первую колонку, а затем во вторую. Макет газеты со статьями, которые занимают разные колонки на каждой странице, бросает вызов даже лучшим алгоритмам извлечения. Для этих документов извлеченный текст может потребовать изменения порядка вручную, чтобы восстановить намеченную последовательность чтения.
Извлеченный текстовый файл может быть дополнительно обработан с помощью инструментов обработки естественного языка для анализа. Анализ настроений, извлечение ключевых слов и моделирование тем работают при вводе обычного текста. Преобразование PDF-файлов в чистый текст открывает эти аналитические возможности для коллекций документов, которые в противном случае потребовали бы ручного чтения и аннотирования.
Извлечение текста из PDF-файлов с использованием лигатур — специальных типографских символов, объединяющих две или более буквы в один глиф, — может привести к неожиданным результатам. Общие лигатуры, такие как fi и fl, могут быть извлечены как один символ или как два отдельных символа в зависимости от кодировки PDF. Документы с частым использованием лигатур, часто встречающиеся в профессионально набранных книгах и научных журналах, требуют тщательной проверки точности извлеченного текста.
Для PDF-файлов, созданных из отсканированных книг, в которых разворотные страницы были отсканированы вместе как одно изображение, при извлечении текста необходимо сначала разделить каждое отсканированное изображение на левую и правую страницы, а затем запустить распознавание текста на каждой половине. Если не разделить разворотные страницы, в тексте последнее слово левой страницы совпадает с первым словом правой страницы.
Простой текстовый вывод PDF-файла может служить входными данными для различных последующих процессов. Инструменты анализа текста могут выявить ключевые темы и настроения. Инструменты перевода могут конвертировать текст на другие языки. Инструменты поискового индексирования могут сделать содержимое документа доступным для обнаружения во всей организации. Простой текстовый файл — это универсальный формат обмена, который соединяет PDF с более широкой экосистемой инструментов обработки текста.
Пакетное извлечение текста из папки PDF-файлов создает текстовый корпус с возможностью поиска. Извлеченные текстовые файлы могут быть проиндексированы с помощью инструментов поиска на рабочем столе, что делает содержимое сотен PDF-файлов доступным для поиска из одного окна поиска. Эта возможность преобразует статический архив документов в базу знаний с возможностью поиска без изменения исходных PDF-файлов.
Экспорт чистого текста из PDF-файла представляет содержимое документа в наиболее портативной и надежной форме, готовой к любому варианту использования: от полнотекстового поиска до обработки естественного языка и долгосрочного архивного хранения в формате, который будет оставаться читаемым на протяжении десятилетий.
Потратив время на правильную настройку извлечения текста, вы получаете чистый, структурированный результат, который служит основой для поиска, анализа, перевода и архивирования содержимого вашего документа.
Хорошо структурированный текстовый файл, извлеченный из PDF-файла, сохраняет содержимое документа в наиболее доступной и перспективной форме.
Полученный текстовый файл будет служить вашим потребностям долгие годы.
| Тип контента | Поведение при извлечении | Совет по качеству |
|---|---|---|
| Абзацы тела | Извлечено как плавный текст | Проверьте соответствие разрывов абзацев оригиналу |
| Заголовки | Определяется по размеру шрифта/жирному шрифту; отметить знаком ## | Проверьте все идентифицированные заголовки |
| Таблицы | Ячейки могут чередоваться; вместо этого рассмотрите возможность экспорта в формате CSV | Для табличных данных используйте вывод Excel/CSV. |
| Списки | Пули могут потеряться; добавить префикс вручную | Убедитесь, что элементы списка сгруппированы |