Uruchamiasz OCR na zeskanowanym dokumencie i litera e jest poprawnie rozpoznawana na stronie pierwszej, ale pojawia się jako c na stronie trzeciej. Ta sama litera, napisana tą samą czcionką, na tym samym dokumencie, zeskanowana w tej samej rozdzielczości, na tym samym skanerze. Silnik OCR podejmował różne decyzje na różnych stronach. Ta niespójność nie jest błędem. Jest to konsekwencja sposobu, w jaki silniki OCR przetwarzają każdą stronę niezależnie i tego, jak subtelne różnice między stronami wpływają na rozpoznawanie znaków.
Silniki OCR PDF przetwarzają strony niezależnie. Algorytm rozpoznawania działa oddzielnie dla każdego obrazu strony. Nie przenosi kontekstu ze strony pierwszej na stronę trzecią. Jeśli obraz na stronie trzeciej ma nieco niższy kontrast, małą smugę w pobliżu litery e lub artefakt skanowania, e może zostać błędnie rozpoznane jako c. Na pierwszej stronie nie wystąpił żaden z tych problemów, więc jej e został rozpoznany poprawnie.
Dlaczego różnice między stronami wpływają na OCR
Skanowanie wprowadza subtelne różnice pomiędzy stronami. Strona mogła nie być idealnie płaska na szybie skanera. Oświetlenie mogło być nieco nierówne. Drobinka kurzu mogła osiąść na skanerze pomiędzy stronami. Każda z tych zmian powoduje zmianę wartości pikseli na zeskanowanym obrazie, a silnik OCR postrzega te zmienione piksele jako inny dowód tożsamości postaci.
Różnice w jakości papieru pomiędzy stronami wpływają na OCR. Pierwsza strona może być jasnobiała i gładka. Strona trzecia może być lekko pożółkła lub mieć bardziej szorstką powierzchnię w wyniku manipulowania. Skaner wychwytuje te różnice, a silnik OCR musi interpretować znaki na podstawie tekstury papieru. Szorstki papier rozprasza więcej światła, zmniejszając efektywny kontrast.
Kompresja obrazu Zeskanowany plik PDF może powodować powstawanie artefaktów różniących się pomiędzy stronami. Kompresja JPEG zastosowana do każdej zeskanowanej strony działa niezależnie. Artefakty kompresji na stronie pierwszej różnią się od artefaktów na stronie trzeciej. Silnik OCR widzi różne wzory pikseli wokół tego samego znaku, co czasami prowadzi do różnych decyzji dotyczących rozpoznawania.
Niejednoznaczność charakteru i pewność rozpoznawania
Z każdą decyzją dotyczącą uznania OCR jest powiązany wskaźnik pewności. Silnik zgłasza najbardziej prawdopodobny charakter i swoją pewność co do tej decyzji. Postać rozpoznana z 98-procentową pewnością jest prawie na pewno poprawna. Postać rozpoznana z 60-procentową pewnością może się mylić. Próg, przy którym silnik zgłasza najlepsze przypuszczenia w porównaniu do zgłaszania niepewnego charakteru, różni się w zależności od silnika.
Pary znaków, które są wizualnie podobne, e i c, i i l, rn i m, O i 0, mają z natury mniejszą pewność rozpoznawania, ponieważ dowody wizualne są niejednoznaczne nawet przy doskonałym skanie. Niewielka zmiana w skanowaniu, która nie miałaby wpływu na znak wyróżniający, taki jak W, może przechylić niejednoznaczny znak z jednej tożsamości na drugą.
Jakość PDF oryginalnego dokumentu przed skanowaniem jest najważniejszym czynnikiem wpływającym na spójność OCR. Czysty, ostry oryginał wydrukowany laserowo zapewnia spójny OCR na wszystkich stronach. Wyblakła kopia o zmiennej jakości druku powoduje niespójny efekt OCR, ponieważ jakość źródła różni się w zależności od strony.
Poprawa spójności OCR na stronach
Przetwórz wstępnie wszystkie strony z tymi samymi ustawieniami przed OCR. Zastosuj spójną regulację kontrastu, prostowanie i usuwanie szumów na każdej stronie. Przetwarzanie wstępne normalizuje obrazy stron w taki sposób, że ten sam znak pojawia się z tą samą wartością pikseli, niezależnie od tego, na której stronie się znajduje.
Użyj silnika OCR obsługującego głosowanie lub rozpoznawanie wielokrotne. Niektóre wyszukiwarki przetwarzają każdy obraz strony wielokrotnie z różnymi ustawieniami i porównują wyniki. Znaki rozpoznawane konsekwentnie we wszystkich przejściach mają wyższą efektywną pewność. Postacie o sprzecznych rozpoznaniach są oznaczane do sprawdzenia.
WukongPDF zapewnia OCR za pośrednictwem przeglądarki ze spójnym przetwarzaniem na wszystkich stronach dokumentu, redukując różnice w jakości rozpoznawania między stronami.
Weryfikacja dokumentów krytycznych po OCR
Uruchom sprawdzanie pisowni w wynikach OCR. Słowa, które moduł sprawdzania pisowni oznaczy jako błędne, często zawierają błędy rozpoznawania. Moduł sprawdzania pisowni nie wie, który znak jest błędny, ale identyfikuje słowa, które wymagają sprawdzenia przez człowieka.
Porównaj wynik OCR z oryginalnym skanem próbki stron. Jeśli próbka wykazuje niespójne rozpoznawanie określonych znaków, prawdopodobnie znaki te są błędnie rozpoznawane w całym dokumencie i należy je wyszukiwać i poprawiać globalnie.
Silniki OCR obsługujące rozpoznawanie adaptacyjne dostosowują swoje modele znaków w oparciu o znaki, które już rozpoznały na poprzednich stronach. To adaptacyjne podejście poprawia spójność, ucząc się specyficznych cech czcionki z samego dokumentu, zamiast polegać wyłącznie na wstępnie wyszkolonych modelach znaków.
Kolor tła strony, nawet subtelne różnice od białego przez prawie biały do jasnokremowego, wpływają na próg binaryzacji i mogą zmieniać sposób oddzielania znaków od tła. Strony na początku dokumentu mogły być mniej obsługiwane i przez to lżejsze niż strony na końcu.
Spójność rozdzielczości skanowania na stronach ma kluczowe znaczenie dla spójności OCR. Skaner, którego rzeczywista rozdzielczość różni się od ustawionej rozdzielczości, jak to robią niektóre starsze skanery lub skanery o niższej jakości, tworzy strony o różnych rozdzielczościach efektywnych. Strona zeskanowana przy rzeczywistej rozdzielczości 290 DPI po ustawieniu na 300 DPI będzie miała nieco inne kształty znaków niż strona zeskanowana przy prawdziwej rozdzielczości 300 DPI.
Można dostosować próg zaufania silnika OCR do zgłaszania rozpoznania. Wyższy próg zgłasza mniej znaków, ale z większą dokładnością. Niższy próg zgłasza więcej znaków, ale z większą liczbą błędów. Dostosowanie progu wpływa na spójność raportowania znaków marginalnych na różnych stronach.
Wielosilnikowy OCR, w którym ta sama strona jest przetwarzana przez dwa lub więcej różnych silników OCR, a wyniki są porównywane, może zidentyfikować znaki, w przypadku których silniki się nie zgadzają. Te punkty sporne prawdopodobnie będą błędami rozpoznawania i mogą zostać oznaczone do sprawdzenia przez człowieka.
Kontekst historyczny dokumentu ma znaczenie dla oczekiwań OCR. Dokument wydrukowany w 1985 r. na drukarce igłowej będzie miał z natury niższą i mniej stałą jakość OCR niż dokument wydrukowany w 2025 r. na drukarce laserowej. Ustalanie oczekiwań dotyczących dokładności OCR w oparciu o wiek dokumentu i technologię druku pozwala uniknąć nierealistycznych oczekiwań.
Dokumentowanie procesu OCR, w tym wersji silnika, ustawień i zastosowanego przetwarzania wstępnego, zapewnia kontekst przyszłym użytkownikom, którzy mogą porównać wyniki OCR z różnych sesji przetwarzania i znaleźć między nimi niespójności.
Zrozumienie, że OCR przetwarza każdą stronę niezależnie, wyjaśnia różnice między stronami i prowadzi użytkowników w kierunku technik wstępnego przetwarzania i strategii rozpoznawania wieloprzebiegowego, które poprawiają spójność.
Dążenie do doskonałej spójności OCR na wszystkich stronach zeskanowanego dokumentu jest ostatecznie ograniczone jakością i spójnością oryginalnego dokumentu oraz procesem skanowania.
Oświetlenie otoczenia w pomieszczeniu skanowania może różnić się w zależności od strony, jeśli pokrywa skanera została otwarta lub podczas sesji zmieniło się światło słoneczne, co wpływa na kontrast obrazu i spójność rozpoznawania znaków.
Silniki OCR oparte na sieciach neuronowych są na ogół bardziej spójne na stronach niż tradycyjne dopasowywanie wzorców, ponieważ są szkolone w oparciu o szerszą gamę wyglądu i warunków znaków.
Przekrzywienie dokumentu, czyli niewielki obrót obrazu strony, wpływa na rozpoznawanie znaków, ponieważ silnik OCR musi przechylić się przed rozpoznaniem, wprowadzając interpolację różną w zależności od strony.
Korekta pisowni po wykonaniu OCR wychwytuje niespójne rozpoznawanie poprzez porównywanie wyników ze słownikiem i oznaczanie słów, które są poprawnie napisane na jednej stronie, ale są błędnie napisane na innej.
W przypadku dokumentów krytycznych wymagających spójności OCR, dwukrotne uruchomienie OCR z różnymi ustawieniami i porównanie wyników pozwala zidentyfikować znaki rozpoznawane w różny sposób w obu przebiegach przetwarzania.
Temperatura szyby skanera może zmieniać się podczas długiej sesji skanowania, powodując niewielkie zmiany w czułości czujnika skanera, które powodują mierzalne różnice w wartościach przechwyconych pikseli pomiędzy wczesnymi i późnymi stronami.
Adaptacyjne algorytmy progowania w przetwarzaniu wstępnym OCR analizują każdą stronę niezależnie, a strony o nieco innej ogólnej jasności otrzymują różne wartości progowe, które wpływają na kształty znaków.
Fizyczne zużycie drukowanego dokumentu, czyli odciski palców, smugi i zagniecenia, rzadko rozkładają się równomiernie na wszystkich stronach, co powoduje, że na niektórych stronach występuje więcej przeszkód związanych z rozpoznawaniem OCR niż na innych.
Osadzanie czcionek w oryginalnym dokumencie może mieć wpływ na spójność OCR, ponieważ osadzone czcionki zawierają wskazówki, które poprawiają renderowanie znaków przy małych rozmiarach na określonych stronach.
Kompresja PDF zastosowana do zeskanowanych stron może spowodować pojawienie się artefaktów JPEG, które różnią się między stronami, a artefakty te mogą zmienić wartości pikseli na granicach znaków.
Wieloprzebiegowe głosowanie OCR, podczas którego ta sama strona jest przetwarzana wielokrotnie z różnymi ustawieniami i porównywanymi wynikami, znacznie poprawia spójność, odrzucając rozpoznania wartości odstających.
Uczenie silnika OCR na próbce poprawnie rozpoznanych znaków z samego dokumentu (proces zwany rozpoznawaniem adaptacyjnym) poprawia spójność, ucząc silnik określonych cech czcionki.
Zmienność jakości drukowania dokumentów, ciemniejszy tekst na niektórych stronach i jaśniejszy tekst na innych, wynikający z poziomu toneru lub stanu głowicy drukującej, powoduje systematyczne różnice w jakości wejściowej OCR.
Analiza statystyczna przeprowadzana po rozpoznaniu może zidentyfikować strony z nieprawidłowym rozkładem częstotliwości znaków, który wskazuje na systematyczne błędy rozpoznawania wpływające na określone znaki na tych stronach.
W przypadku projektów digitalizacji archiwów dokumentowanie ustawień OCR i wersji silnika użytego dla każdej partii umożliwia przyszłe ponowne przetwarzanie przy użyciu ulepszonych silników, które mogą dawać bardziej spójne wyniki.
Zrozumienie źródeł niespójności OCR pomaga użytkownikom ustalić realistyczne oczekiwania co do dokładności rozpoznawania i zastosować odpowiednie procedury weryfikacyjne.
Inwestycja w przetwarzanie wstępne OCR i weryfikację jakości zwraca się w postaci skrócenia czasu ręcznej korekty i bardziej niezawodnych archiwów dokumentów z możliwością przeszukiwania.
| Źródło zmian | Jak to wpływa na OCR | Łagodzenie |
|---|---|---|
| Odchylenie rozdzielczości skanowania | Kształty znaków różnią się liczbą pikseli | Kalibracja skanera; sprawdź rzeczywiste DPI |
| Starzenie się/żółknięcie papieru | Zmniejszony kontrast na starszych stronach | Zastosuj jednolitą korekcję kontrastu |
| Artefakty kompresji JPEG | Blokuj artefakty w pobliżu krawędzi postaci | W przypadku skanów archiwalnych użyj formatu PNG lub TIFF |
| Kurz/smugi na poszczególnych stronach | Miejsca mylone ze znakami diakrytycznymi lub interpunkcyjnymi | Wyczyść szybę skanera; wstępne przetwarzanie obrazów |