Многоязычный PDF-файл содержит страницы на английском, французском и немецком языках. Руководство по продукту с инструкциями на трех языках на чередующихся страницах. Академическая статья с английской частью и французским аннотацией. Юридический документ с оригинальным текстом на одном языке и заверенными переводами на других. Запуск OCR для этого документа с настройкой одного языка обеспечивает точный текст на страницах на этом языке и искаженный вывод на других. Символы французского акцента становятся случайными символами. Немецкие умлауты исчезают. Механизм OCR пытается интерпретировать каждый символ через призму английского языка и терпит неудачу во всем, что не подходит.
Инструменты оптического распознавания символов, поддерживающие несколько языков, могут правильно обрабатывать многоязычный PDF-файл, определяя язык каждой страницы или текстового блока и применяя соответствующую модель распознавания символов. Рабочий процесс многоязычного оптического распознавания символов добавляет этап определения языка перед распознаванием символов, что значительно повышает точность документов, содержащих более одного языка.
По данным Консорциума Unicode, документы, содержащие несколько языков, составляют примерно 18 процентов всех деловых PDF-файлов в международных организациях, причем эта доля растет по мере расширения глобального сотрудничества (Консорциум Unicode, «Обзор многоязычных документов», 2024 г.).
Методы определения языка для многоязычного оптического распознавания символов
| Метод | Как это работает | Точность | Наилучший вариант для |
|---|---|---|---|
| Автоматическое определение на странице | Механизм OCR анализирует шаблоны символов на каждой странице и выбирает наиболее вероятную языковую модель. | Высокий для разных языков. Умеренный для близкородственных языков, таких как испанский и португальский. | Документы, в которых каждая страница написана на одном языке, например параллельные переводы. |
| Указание языка вручную | Пользователь указывает, какие языки отображаются в документе и на каких страницах. | Самый высокий, когда пользователь знает языки и их местоположение. | Документы на известных языках, например руководства по разделам. |
| Автоматическое определение каждого текстового блока | Механизм OCR определяет язык на уровне абзаца или текстового блока, переключая модели посередине страницы. | От умеренного до высокого. Хорошо работает для четко разделенных блоков. Борется со смешанными предложениями. | Документы, в которых языки чередуются на одной странице, например двуязычные формы. |
| Многомодельная параллельная обработка | OCR пропускает одну и ту же страницу через несколько языковых моделей и выбирает лучший результат для каждой текстовой области. | Самый высокий для контента на разных языках. Вычислительно интенсивный. Медленная обработка | Документы с непредсказуемыми языковыми смесями, например международная корреспонденция. |
Попробуйте PDF-распознавание текста
Никакой установки не требуется. Работает прямо в вашем браузере.
Настройка многоязычного распознавания текста в браузерных инструментах
Загрузите PDF-файл в инструмент OCR на базе браузера, поддерживающий несколько языков. Если инструмент предлагает настройку автоматического определения языка, включите ее. Если инструмент требует выбора языка вручную, выберите все языки, которые присутствуют в документе. Инструмент обработает каждую страницу или текстовый блок, используя наиболее подходящую языковую модель. После OCR проверьте выходные данные, выполнив поиск слова, которое содержит символы, специфичные для языка, например символ с акцентом на французском языке или умлаут на немецком языке. Если поиск находит слово правильно, система OCR распознает язык.
WukongPDF Инструменты OCR поддерживают обработку на нескольких языках. Механизм OCR PDF обнаруживает и распознает текст на языках, указанных при настройке. Выходной текстовый слой сохраняет многоязычное содержимое оригинала.
Проверка точности многоязычного оптического распознавания символов
Выборочно проверьте выходные данные OCR для каждого языка в документе. Поиск языковых символов и общих слов. Сравните образец абзаца на каждом языке с исходным сканом. Многоязычный документ, который правильно распознается на одном языке, может плохо распознаваться на другом, если на втором языке используются символы или диакритические знаки, на распознавание которых механизм OCR не настроен. Конвейер Translate PDF для многоязычных документов требует перед переводом точного распознавания текста на всех языках.
Обработка смешанных алфавитов и сценариев
Документы, содержащие языки, использующие разные системы письма, например английский и арабский, английский и китайский или английский и русский, требуют наличия механизмов оптического распознавания символов, поддерживающих определенные сценарии. Движок, оптимизированный для латиницы, полностью не сможет использовать арабские или китайские символы. Перед обработкой убедитесь, что инструмент OCR поддерживает каждый сценарий, который появляется в документе. Инструмент, поддерживающий латиницу, кириллицу и арабский язык, может не поддерживать китайский, японский или корейский язык. Поддержка скрипта должна соответствовать содержимому документа.
Задача Scanned PDF для документов с несколькими сценариями заключается в поиске механизма оптического распознавания символов, который обрабатывает все необходимые сценарии. Для документов с необычными комбинациями сценариев разделение документа по сценариям и обработка каждого раздела с помощью специализированного механизма OCR может дать лучшие результаты, чем использование одного механизма для всего.
Тестирование вывода OCR с использованием поисковых запросов для конкретного языка
После запуска многоязычного OCR проверьте выходные данные для каждого языка, выполнив поиск терминов, специфичных для языка. Найдите слово с ударением на французском языке. Найдите слово, содержащее умлаут, на немецком языке. Найдите комбинацию символов, уникальную для данного языка. Если поиск находит термины правильно, значит, механизм OCR распознал язык. Если поиск не дает результатов или текст искажен, значит, движок не применил правильную языковую модель.
Проверка на основе поиска выполняется быстрее, чем чтение всего документа, и немедленно выявляет ошибки определения языка. Документ, который правильно распознается на английском языке, но не работает на французском языке, вернет результаты поиска для английских терминов и ничего для французских терминов. Проверка OCR PDF определяет пропущенный язык, поэтому его можно обработать повторно с правильными настройками.
Обработка документов на более чем трех языках
Если документ содержит много языков, например руководство по продукту с инструкциями на восьми европейских языках, механизму оптического распознавания символов могут возникнуть проблемы с определением языка, поскольку объем текста на каждом языке невелик. Движку может не хватить текста для уверенной идентификации некоторых языков, особенно если эти языки тесно связаны. В этих случаях указание языка вручную дает лучшие результаты, чем автоматическое определение.
Определите все языки, присутствующие в документе. Если инструмент OCR требует указания вручную, перечислите все языки. Если инструмент поддерживает основной язык и дополнительные языки, установите наиболее распространенный язык в качестве основного, а остальные — второстепенными. Сканированный PDF со многими языками проверяет пределы автоматического определения языка. Спецификация вручную предоставляет информацию о языке, которую не могут дать небольшие образцы текста.
Языковые теги после OCR для обеспечения доступности
После запуска многоязычного оптического распознавания текста документ содержит распознанный текст, но может отсутствовать языковые метаданные, которые сообщают программам чтения с экрана, на каком языке находится каждый отрывок. Программа чтения с экрана, обнаружившая французский текст без тега французского языка, попытается прочитать его, используя правила английского произношения, выдавая непонятный результат. Добавление языковых тегов к выводам OCR делает документ доступным для пользователей, использующих технологию преобразования текста в речь.
Языковые теги — это этап после распознавания текста, доступный в некоторых инструментах обеспечения специальных возможностей PDF. Пометьте каждый языковой блок правильным идентификатором языка. Программа чтения с экрана переключает модели произношения, когда встречает языковой тег. Отсканированный PDF, который ранее был недоступен, становится доступным для поиска и чтения благодаря вспомогательным технологиям. WukongPDF OCR обеспечивает текстовый слой. Языковые теги делают этот текстовый слой доступным.
Попробуйте PDF-распознавание текста
Никакой установки не требуется. Работает прямо в вашем браузере.