Uruchamianie OCR bezpośrednio na pliku PDF sprawdza się dobrze w przypadku czystych dokumentów tekstowych. W przypadku zeskanowanych stron zawierających przekrzywiony tekst, mieszane czcionki, nietypowy układ lub duże szumy w tle, wstępne przetwarzanie stron jako obrazów przed OCR może znacznie poprawić dokładność rozpoznawania. Konwertowanie każdej strony pliku PDF na obraz o wysokiej rozdzielczości umożliwia zastosowanie filtrów redukcji szumów, prostowania, regulacji kontrastu i binaryzacji, które są trudne lub niemożliwe do zastosowania w samym pliku PDF.
Potok obrazu dodaje krok. Wzrost dokładności uzasadnia to w przypadku trudnych skanów.
Konwersja PDF do obrazu jako etap wstępnego przetwarzania oddziela oczyszczanie wizualne od rozpoznawania tekstu. Każda strona staje się samodzielnym plikiem obrazu, który można przetworzyć za pomocą narzędzi do ulepszania obrazu przed wprowadzeniem do silnika OCR. Konwersja WukongPDF i narzędzia OCR PDF wspierają ten przepływ pracy, umożliwiając dostrojenie jakości obrazu przed uruchomieniem rozpoznawania oczyszczonych obrazów.
Dlaczego wstępne przetwarzanie obrazów poprawia dokładność OCR
Silniki OCR wykrywają kształty znaków na tle. Wszystko, co zasłania granice znaków, zmniejsza dokładność. Przekrzywione linie tekstu utrudniają wykrywanie linii. Plamy w tle i plamy na dokumentach tworzą fałszywych kandydatów na znaki. Nierówne oświetlenie powoduje powstanie gradientowego tła, w którym znaki przy krawędzi strony zamieniają się w szum. Niski kontrast między tekstem a papierem, charakterystyczny dla wyblakłych paragonów i kopii kalkowych, sprawia, że cienkie linie znaków całkowicie znikają.
Konwersja na obrazy umożliwia zajęcie się każdym problemem osobno. Algorytmy prostowania obracają stronę, aż linie tekstu będą idealnie poziome, dzięki czemu silnik wykrywania linii będzie dokładnie taki, jakiego oczekuje. Filtry redukcji szumów usuwają plamki bez rozmycia krawędzi znaków. Krzywe kontrastu oddzielają ciemny tekst od jasnego tła, nawet jeśli oryginalny skan pokazuje jedynie subtelne różnice. Binaryzacja konwertuje skalę szarości na czystą czerń i biel, eliminując gradientowe tła. Każdy krok dotyczy określonej klasy problemów wizualnych i razem przekształcają marginalny skan w czyste dane wejściowe, które silnik OCR może odczytać z dużą pewnością.
Liczby rzeczywiste ilustrują różnicę. Faktura igłowa z lat 80. XX wieku zeskanowana w rozdzielczości 200 DPI może zapewnić dokładność znaków wynoszącą 70% w przypadku OCR bezpośrednio z pliku PDF. Po prostowaniu, adaptacyjnej binaryzacji i usunięciu plamek ten sam dokument może osiągnąć 95% lub więcej. Rozłóż to na partię zawierającą 500 faktur, a otrzymasz różnicę między 125 fakturami zawierającymi istotne błędy a 25 wymagającymi drobnych poprawek. Przetwarzanie wstępne zamienia koszmar czyszczenia w użyteczny wynik, a czas przetwarzania strony, wynoszący około 2-3 sekundy w przypadku potoku pełnego ulepszenia, jest znikomy w porównaniu z zaoszczędzonym czasem ręcznej korekty.
Wybór formatu i rozdzielczości obrazu do wstępnego przetwarzania OCR
Wybór formatu wpływa na potok, a nie na ostateczny wynik. TIFF pozostaje tradycyjnym formatem wstępnego przetwarzania OCR: bezstratna kompresja, zachowanie doskonałej jakości pikseli i natywna obsługa silników takich jak Tesseract. PNG zapewnia tę samą bezstratną jakość w przyjaznym dla Internetu opakowaniu, z którym dobrze radzą sobie nowoczesne narzędzia. Na etapie pośrednim należy unikać formatu JPEG, ponieważ artefakty kompresji wprowadzają szum krawędziowy wokół znaków, niwecząc efekt czyszczenia, który próbujesz osiągnąć. Artefakty są subtelne, ale silnik OCR je zauważa.
Rozdzielczość określa pułap dokładności. Najlepszym punktem konsensusu jest trzysta DPI. Poniżej 200 DPI mały tekst i cienkie szeryfy rozmywają się w tle, a dokładność gwałtownie spada. Powyżej 400 DPI rozmiary plików powiększają się, a dokładność staje się płaska. Przypisy prawne i etykiety farmaceutyczne drukowane czcionką 6-punktową mogą uzasadniać rozdzielczość 400-600 DPI. Zdjęcia plakatów i oznakowań pisane dużą czcionką często działają dobrze przy rozdzielczości 200 DPI. Dopasuj rozdzielczość do najmniejszego tekstu na stronie, a nie do średniej.
| Format | Kompresja | Najlepsze dla | Unikaj, gdy |
|---|---|---|---|
| SPRZECZKA | Bezstratny (LZW lub nieskompresowany) | Tesseract OCR, wstępne przetwarzanie archiwalne | Rozmiar pliku ma większe znaczenie niż jakość |
| PNG | Bezstratny | Nowoczesne potoki OCR, narzędzia internetowe | Starsze oprogramowanie OCR wymagające formatu TIFF |
| JPG | Stratny | Szybkie podglądy, kontrole wizualne | Etap wstępnego przetwarzania (artefakty degradują OCR) |
| JPG2000 | Dostępna opcja bezstratna | Skanowanie archiwalne dużych ilości dokumentów | Ograniczona obsługa narzędzi OCR |
Wprowadzanie ulepszeń obrazu przed OCR
Najpierw jest prostowanie. Nawet odchylenie o 1-2 stopnie zmniejsza dokładność słowa o kilka punktów, ponieważ segmentacja linii wymaga poziomych linii bazowych. Funkcje automatycznego prostowania w większości bibliotek przetwarzania obrazów wykrywają dominujący kąt tekstu, analizując orientację linii i obliczając obrót niezbędny do ustawienia ich poziomo. Ta pojedyncza korekcja często zapewnia największy wzrost dokładności spośród wszystkich etapów przetwarzania wstępnego.
Binaryzacja następuje po prostowaniu. Adaptacyjne metody progowania, takie jak algorytm Otsu czy metoda Sauvoli, analizują niezależnie lokalne obszary obrazu, co radzi sobie z dokumentami o nierównym oświetleniu znacznie lepiej niż jedna globalna wartość odcięcia. Strona jasno oświetlona w środku i przyćmiona na krawędziach wymaga różnych progów dla każdego regionu, a metody adaptacyjne to zapewniają. Z kolei globalne progowanie wybiera jedno odcięcie dla całej strony, zwykle przycinając tekst w cieniach lub pozostawiając szum w jasnych obszarach. Wizualna różnica między tymi dwoma podejściami jest natychmiast widoczna w każdym dokumencie skanowanym przy niezbyt doskonałym oświetleniu.
Usuwanie hałasu kończy zadanie. Małe, izolowane czarne lub białe piksele, czyli szum pieprzu powszechny na skanach postarzanego lub teksturowanego papieru, tworzą fragmenty fałszywych znaków. Filtr medianowy o promieniu 2-3 pikseli usuwa te plamki, zachowując jednocześnie rzeczywiste krawędzie znaków. Czyste wyjście binarne gotowe do rozpoznania. Wykonywanie OCR na tym przetworzonym obrazie w porównaniu z surowym skanem rutynowo wykazuje skoki dokładności od 10 do 25 punktów procentowych w przypadku trudnych dokumentów, a cały proces ulepszania kończy się w ciągu kilku sekund na stronę.
Uruchamianie OCR na wstępnie przetworzonych obrazach
Wprowadź oczyszczone obrazy do silnika OCR jako osobne strony. Tesseract i większość innych silników akceptuje katalog obrazów i generuje plik tekstowy na każdą stronę. Aby uzyskać plik PDF z możliwością przeszukiwania, połącz ponownie rozpoznany tekst z obrazami, aby utworzyć plik PDF z niewidoczną warstwą tekstową. Format wyjściowy hOCR zachowuje informacje o układzie strony na wypadek, gdy rozpoznany tekst musi zostać przypisany do określonych pozycji na stronie. Te dane układu umożliwiają funkcję wyróżniania podczas czytania w przeszukiwalnych plikach PDF.
Zawsze porównuj wyniki. Uruchom OCR zarówno na surowym pliku PDF, jak i na wstępnie przetworzonych obrazach, a następnie sprawdź te same akapity w obu wynikach. Różnica w przypadku trudnych dokumentów jest wyraźna. Wyblakły paragon z dokładnością od 60% do 95% oznacza różnicę między nieużytecznym a użytecznym. W przypadku czystych, nowoczesnych dokumentów drukowanych laserowo w rozdzielczości 300 DPI poprawa może być znikoma, a bezpośrednie OCR w formacie PDF jest całkowicie wystarczające. Wiedza o korzyściach dla dokumentów pozwala zaoszczędzić czas przetwarzania bez utraty jakości wydruku.
Przetwarzanie wsadowe dużych zestawów dokumentów
Setki lub tysiące stron wymagają automatyzacji. Skryptuj potok: konwertuj strony PDF na obrazy, stosuj spójne parametry ulepszania w całej partii, uruchamiaj OCR i kompiluj wyniki. Python z pdf2image, Pillow i pytesseract zapewnia bezpłatny i elastyczny potok, który przetwarza tysiące stron w ciągu nocy na standardowym komputerze. Początkowa konfiguracja zajmuje godzinę lub dwie, ale każda kolejna partia jest uruchamiana za pomocą jednego polecenia. W przypadku jednorazowych małych zadań ręczne przetwarzanie wstępne za pomocą narzędzia GUI jest szybsze w konfiguracji i równie skuteczne.
Sprawdź jakość losowej próbki z każdej partii. Spójne ustawienia nie gwarantują spójnych wyników. Niektóre strony zawierają unikalne artefakty, których brakuje w przypadku standardowych ulepszeń. Wyrywkowe sprawdzanie 5–10% partii pozwala wykryć problemy systematyczne, błędy prostowania na stronach z rzadkim tekstem, załamanie binaryzacji na stronach z niewyraźną zawartością, zanim błędy rozprzestrzenią się na cały zestaw dokumentów. Napraw parametry ulepszania na podstawie próbki, uruchom ponownie, a reszta partii wyjdzie czysta.