Преобразование отсканированного PDF-файла в электронную таблицу Excel всегда предполагает распознавание текста, а распознавание текста всегда приводит к ошибкам. Реальный вопрос заключается в том, сколько ошибок и приемлемы ли остальные. Чистое сканирование простой таблицы с разрешением 300 точек на дюйм может конвертировать с точностью 98–99%. Низкое качество сканирования электронной таблицы с несколькими столбцами, объединенными ячейками и рукописными аннотациями может дать результат 80% или хуже. Установление реалистичных ожиданий и процесс очистки определяют, стоит ли использовать результат.
Совершенство здесь не является целью. Полезная электронная таблица, требующая выборочной проверки.
Преобразование PDF в Excel посредством оптического распознавания символов включает два этапа: во-первых, механизм OCR PDF распознает текст и структуру таблицы из отсканированного изображения, а во-вторых, преобразователь отображает распознанные данные в строки и столбцы. Любой этап может привести к ошибкам. Знание того, где возникают ошибки, поможет вам выбрать правильный инструмент и правильную стратегию очистки для каждого типа документов.
Когда возникают ошибки оптического распознавания символов при преобразовании отсканированной таблицы
Нераспознавание символов является наиболее распространенной ошибкой. Двигатель считывает 8 как B, путает 5 с S или неправильно считывает 1 как l. Цифры страдают больше, чем буквы, потому что одна неверная цифра меняет сумму в долларах. Ошибки структуры возникают, когда границы столбцов определяются неправильно. Объединенные ячейки заголовка, охватывающие три столбца, разделяются. Строки с непоследовательным количеством столбцов, часто встречающиеся в финансовых отчетах со строками промежуточных итогов, затрудняют обнаружение сетки и приводят к несогласованным данным.
Качество сканирования влияет на частоту ошибок больше, чем любой другой фактор. Электронная таблица с разрешением 300 точек на дюйм, напечатанная лазером, обычно преобразуется с ошибкой символов 2–5%. Матричная распечатка 1990-х годов с разрешением 150 точек на дюйм может давать погрешность в 15–25 %. Перекошенные страницы добавляют размытие при коррекции поворота еще до начала распознавания символов. Бледные или разорванные границы таблицы приводят к слиянию или разделению столбцов, когда алгоритм обнаружения неправильно заполняет пробелы. Любая проблема с качеством в исходном коде усугубляется конвейером преобразования.
Выбор лучшей системы оптического распознавания текста для преобразования электронных таблиц
Движки общего назначения, такие как Tesseract, хорошо читают символы, но выводят неструктурированный текст. Вы получаете слова, но теряете сетку. Инструменты со встроенным обнаружением таблиц, экспорт в Excel Adobe Acrobat, Tabula, инструмент преобразования WukongPDF, сочетают распознавание символов с анализом структуры, настроенным для макетов электронных таблиц. Выходные данные попадают в Excel с неповрежденными строками и столбцами, что и составляет весь смысл преобразования в формат электронной таблицы.
Сложные макеты требуют специального извлечения. Модели машинного обучения, обученные на шаблонах электронных таблиц, определяют границы столбцов, разделители строк и иерархии заголовков, которые не учитываются обычными инструментами. Лучшие движки обрабатывают составные ячейки, вложенные заголовки и пустые ячейки, не разрушая сетку. Тестирование инструмента на одной репрезентативной странице покажет, соответствует ли его обнаружение таблиц вашему конкретному макету. Инструмент, который быстро просматривает простые финансовые таблицы, может полностью выйти из строя в правительственной форме из-за нерегулярного слияния ячеек, и обнаружение этого на первой странице избавляет от обработки остальных 499 страниц с помощью неправильного инструмента.
| Категория инструмента | Сильные стороны | Слабые стороны |
|---|---|---|
| Общее распознавание символов (Тессеракт и т. д.) | Высокая точность символов, бесплатно, с возможностью пакетной обработки | Нет структуры таблицы, выводит обычный текст |
| Инструменты экспорта PDF (Acrobat, WukongPDF) | Структура таблицы сохранена, прямой вывод в Excel | Проблемы с сильно отформатированными таблицами. |
| Специализированные настольные экстракторы (Tabula) | Превосходное обнаружение структуры, сложные макеты | Может потребоваться настройка для каждого типа документа |
| Инструменты на базе искусственного интеллекта | Лучшая точность на различных макетах | Более высокая стоимость, может потребоваться подключение к Интернету. |
Очистка после преобразования: выявление оставшихся ошибок
Экономьте время на очистку независимо от качества инструмента. Откройте преобразованную электронную таблицу рядом с исходным PDF-файлом и выборочно проверьте ключевые ячейки. Наибольшего внимания требуют итоговые и промежуточные итоги, поскольку неправильное прочтение ячеек приводит к каскадному построению. Используйте условное форматирование Excel, чтобы выделять нечисловые символы в числовых столбцах, мгновенно отмечая замены O-на-0 и S-на-5. Быстрая проверка ISTEXT в столбце, который должен состоять из чисел, выявляет артефакты оптического распознавания символов, которые сливаются с визуальным сканированием.
Большие электронные таблицы, в которых невозможно проверить каждую ячейку вручную, нуждаются в методах сверки. Просуммируйте каждый столбец преобразованной электронной таблицы и сравните с напечатанными итоговыми значениями в оригинале. Посчитайте строки и столбцы. Используйте проверку данных, чтобы пометить значения, выходящие за пределы ожидаемых диапазонов. Сводная таблица, в которой суммируются преобразованные данные вместе с введенной вручную сводкой оригинала, обеспечивает высокоуровневое сравнение, которое помечает целые разделы как проблемные. Эти проверки выполняются автоматически и выявляют наиболее серьезные ошибки за считанные секунды.
Создайте многоразовую процедуру очистки. Запишите макрос Excel, который применяет стандартные исправления: обрезает пробелы, преобразует текстовые числа в действительные числа, удаляет пустые строки, выравнивает ширину столбцов и применяет форматирование чисел. Один щелчок запускает полную очистку каждой новой преобразованной таблицы. 20 минут, потраченные на создание макроса, окупаются при каждом последующем преобразовании из одного и того же источника документа и обеспечивают последовательную очистку всех преобразованных файлов.
Когда ввод вручную важнее преобразования OCR
Короткие таблицы, содержащие менее 50 строк, часто печатаются быстрее, чем OCR плюс очистка. Написание трех столбцов по 50 строк занимает 10–15 минут. Настройка оптического распознавания символов, запуск преобразования и очистка отсканированного изображения низкого качества могут занять больше времени. Чистые современные сканы с разрешением 300 DPI склоняют чашу весов: OCR выигрывает для таблиц размером всего 20 строк. Сканирование низкого качества приводит к тому, что точка безубыточности превышает 100 строк. Зная качество сканирования, вы подскажете, какой подход использовать, не тратя время на неправильный.
Контексты, критичные к точности, полностью меняют расчеты. Финансовая отчетность и юридические доказательства не допускают ошибок OCR, и точка. Каждую преобразованную ячейку необходимо сверить с оригиналом. В этих сценариях с высокими ставками ручной ввод с проверкой двумя ключами, когда два человека независимо вводят данные и устраняют несоответствия, остается оправданным стандартом, несмотря на то, что он медленнее и дороже. Стоимость одной неверно прочитанной цифры в нормативной документации затмевает стоимость ручной проверки. Выбирайте метод, основываясь на последствиях, а не на удобстве. OCR создает первый черновик; ставки определяют, будет ли этот проект достаточно хорош или это всего лишь отправная точка.