Wielojęzyczny plik PDF zawiera strony w języku angielskim, francuskim i niemieckim. Instrukcja produktu z instrukcjami w trzech językach na naprzemiennych stronach. Artykuł naukowy z treścią w języku angielskim i streszczeniem w języku francuskim. Dokument prawny zawierający tekst oryginalny w jednym języku i tłumaczenia przysięgłe w innych. Uruchomienie OCR na tym dokumencie z jednym ustawieniem języka daje dokładny tekst na stronach w tym języku i zniekształcony wydruk na pozostałych. Znaki francuskiego akcentu stają się losowymi symbolami. Niemieckie umlauty znikają. Silnik OCR próbuje zinterpretować każdy znak przez pryzmat języka angielskiego, ale nie udaje mu się wykryć niczego, co nie pasuje.
Narzędzia OCR obsługujące wiele języków mogą poprawnie przetwarzać wielojęzyczny plik PDF, wykrywając język każdej strony lub bloku tekstu i stosując odpowiedni model rozpoznawania znaków. Wielojęzyczny przepływ pracy OCR dodaje krok wykrywania języka przed rozpoznaniem znaków, co znacznie poprawia dokładność w przypadku dokumentów zawierających więcej niż jeden język.
Według konsorcjum Unicode dokumenty zawierające wiele języków stanowią około 18 procent wszystkich biznesowych plików PDF w organizacjach międzynarodowych, a odsetek ten rośnie wraz ze wzrostem współpracy globalnej (Konsorcjum Unicode, „Multilingual Document Survey”, 2024).
Metody wykrywania języka w wielojęzycznym OCR
| Metoda | Jak to działa | Dokładność | Najlepsze dla |
|---|---|---|---|
| Automatyczne wykrywanie na stronę | Silnik OCR analizuje wzorce znaków na każdej stronie i wybiera najbardziej prawdopodobny model językowy | Wysoka dla różnych języków. Umiarkowany dla blisko spokrewnionych języków, takich jak hiszpański i portugalski | Dokumenty, w których każda strona jest w jednym języku, np. tłumaczenia równoległe |
| Ręczna specyfikacja języka | Użytkownik określa, jakie języki pojawiają się w dokumencie i na jakich stronach | Najwyższy, gdy użytkownik zna języki i ich lokalizacje | Dokumenty o znanej dystrybucji językowej, takie jak instrukcje podzielone na części |
| Automatyczne wykrywanie każdego bloku tekstu | Silnik OCR wykrywa język na poziomie akapitu lub bloku tekstu i przełącza modele w połowie strony | Umiarkowane do wysokiego. Dobrze sprawdza się w przypadku wyraźnie oddzielonych bloków. Ma problemy ze zdaniami w różnych językach | Dokumenty, w których języki są przeplatane na tej samej stronie, np. formularze dwujęzyczne |
| Przetwarzanie równoległe wielu modeli | OCR uruchamia tę samą stronę w wielu modelach językowych i wybiera najlepszy wynik dla każdego obszaru tekstowego | Najwyższy w przypadku treści w różnych językach. Intensywne obliczeniowo. Wolniejsze przetwarzanie | Dokumenty zawierające nieprzewidywalną mieszankę językową, np. korespondencja międzynarodowa |
Konfigurowanie wielojęzycznego OCR w narzędziach przeglądarkowych
Prześlij plik PDF do narzędzia OCR działającego w przeglądarce, które obsługuje wiele języków. Jeśli narzędzie oferuje opcję automatycznego wykrywania języka, włącz ją. Jeśli narzędzie wymaga ręcznego wyboru języka, wybierz wszystkie języki, które pojawią się w dokumencie. Narzędzie przetworzy każdą stronę lub blok tekstu przy użyciu najbardziej odpowiedniego modelu językowego. Po OCR sprawdź wynik, wyszukując słowo zawierające znaki specyficzne dla języka, takie jak znak akcentowany w języku francuskim lub umlaut w języku niemieckim. Jeśli wyszukiwanie znajdzie słowo poprawnie, silnik OCR rozpoznaje język.
WukongPDF Narzędzia OCR obsługują przetwarzanie wielu języków. Silnik OCR PDF wykrywa i rozpoznaje tekst w językach określonych podczas konfiguracji. Wyjściowa warstwa tekstowa zachowuje wielojęzyczną treść oryginału.
Weryfikacja dokładności wielojęzycznego OCR
Sprawdź na miejscu wyniki OCR dla każdego języka w dokumencie. Szukaj znaków specyficznych dla języka i popularnych słów. Porównaj przykładowy akapit w każdym języku z oryginalnym skanem. Wielojęzyczny dokument, którego rozpoznawanie OCR jest dokładne w jednym języku, może być słabo rozpoznawane w innym, jeśli w drugim języku używane są znaki lub znaki diakrytyczne, których silnik OCR nie został skonfigurowany do rozpoznawania. Potok Translate PDF dla dokumentów wielojęzycznych wymaga dokładnego OCR we wszystkich językach przed tłumaczeniem.
Obsługa mieszanych alfabetów i skryptów
Dokumenty zawierające języki korzystające z różnych systemów pisma, takie jak angielski i arabski, angielski i chiński lub angielski i rosyjski, wymagają silników OCR obsługujących określone skrypty. Silnik zoptymalizowany pod kątem alfabetu łacińskiego całkowicie zawiedzie w przypadku znaków arabskich lub chińskich. Przed przetworzeniem sprawdź, czy narzędzie OCR obsługuje każdy skrypt pojawiający się w dokumencie. Narzędzie obsługujące łacinę, cyrylicę i arabski może nie obsługiwać języka chińskiego, japońskiego lub koreańskiego. Obsługa skryptów musi być zgodna z treścią dokumentu.
Wyzwaniem Skanowany plik PDF w przypadku dokumentów zawierających wiele skryptów jest znalezienie silnika OCR obsługującego wszystkie niezbędne skrypty. W przypadku dokumentów zawierających nietypowe kombinacje skryptów podzielenie dokumentu według skryptu i przetworzenie każdej sekcji za pomocą wyspecjalizowanego silnika OCR może dać lepsze wyniki niż użycie do wszystkiego jednego mechanizmu.
Testowanie wyników OCR przy użyciu terminów wyszukiwania specyficznych dla języka
Po uruchomieniu wielojęzycznego OCR sprawdź wyniki dla każdego języka, wyszukując terminy specyficzne dla języka. Wyszukaj akcentowane słowo w języku francuskim. Wyszukaj słowo zawierające umlaut w języku niemieckim. Wyszukaj kombinację znaków unikalną dla danego języka. Jeśli wyszukiwanie znajdzie terminy poprawnie, silnik OCR rozpoznaje język. Jeśli wyszukiwanie nie zwraca żadnych wyników lub tekst jest zniekształcony, oznacza to, że silnik nie zastosował prawidłowego modelu językowego.
Weryfikacja oparta na wyszukiwaniu jest szybsza niż czytanie całego dokumentu i natychmiast wychwytuje błędy w wykrywaniu języka. Dokument, który poprawnie rozpoznaje OCR w języku angielskim, ale nie po francusku, zwróci wyniki wyszukiwania dla terminów angielskich i nic dla terminów francuskich. Weryfikacja OCR PDF identyfikuje pominięty język, dzięki czemu można go ponownie przetworzyć z poprawnymi ustawieniami.
Obsługa dokumentów w więcej niż trzech językach
Jeśli dokument zawiera wiele języków, na przykład podręcznik produktu zawierający instrukcje w ośmiu językach europejskich, silnik OCR może mieć problemy z wykryciem języka, ponieważ ilość tekstu w każdym języku jest niewielka. Silnik może nie mieć wystarczającej ilości tekstu, aby z całą pewnością zidentyfikować niektóre języki, zwłaszcza jeśli są one blisko spokrewnione. W takich przypadkach ręczne określenie języka daje lepsze wyniki niż automatyczne wykrywanie.
Zidentyfikuj wszystkie języki występujące w dokumencie. Jeśli narzędzie OCR wymaga ręcznej specyfikacji, wymień każdy język. Jeśli narzędzie obsługuje język podstawowy i języki dodatkowe, ustaw najpopularniejszy język jako podstawowy, a pozostałe jako dodatkowy. Zeskanowany plik PDF z wieloma językami sprawdza granice automatycznego wykrywania języka. Specyfikacja ręczna dostarcza informacji o języku, których nie są w stanie uzyskać małe próbki tekstu.
Tagowanie języka po OCR w celu zapewnienia dostępności
Po uruchomieniu wielojęzycznego OCR dokument zawiera rozpoznany tekst, ale może brakować metadanych językowych, które informują czytniki ekranu, w jakim języku jest dany fragment. Czytnik ekranu, który napotka tekst w języku francuskim bez znacznika języka francuskiego, spróbuje go odczytać, stosując zasady wymowy angielskiej, co spowoduje niezrozumiały wynik. Dodanie znaczników językowych do wyników OCR sprawia, że dokument jest dostępny dla użytkowników korzystających z technologii zamiany tekstu na mowę.
Tagowanie języka to etap wykonywany po OCR, dostępny w niektórych narzędziach ułatwiających dostęp do plików PDF. Oznacz każdy blok językowy poprawnym identyfikatorem języka. Czytnik ekranu przełącza modele wymowy, gdy napotka znacznik językowy. Zeskanowany plik PDF, który był wcześniej niedostępny, staje się zarówno przeszukiwalny, jak i czytelny dzięki technologii wspomagającej. WukongPDF OCR zapewnia warstwę tekstową. Oznaczenie języka sprawia, że ta warstwa tekstowa jest dostępna.