Optische tekenherkenning werkt door donkere vormen op een lichte achtergrond te detecteren en die vormen te matchen met bekende letterpatronen. Wanneer de achtergrond geen uniforme lichte kleur heeft, maar in plaats daarvan een patroon, textuur of watermerk bevat, wordt de herkenningsengine geconfronteerd met een fundamenteel moeilijker probleem. Elk patroonelement op de pagina is een potentieel vals-positief signaal dat de OCR moet onderscheiden van de daadwerkelijke tekst. Papier met watermerk, briefpapier met textuur, geruite veiligheidsafdrukken en decoratieve randen voegen allemaal visuele ruis toe die de OCR-nauwkeurigheid vermindert. De vraag is niet of OCR überhaupt overweg kan met deze achtergronden, maar onder welke omstandigheden het lukt en wanneer de nauwkeurigheid onder het punt van bruikbaarheid zakt.
Hoe achtergrondpatronen de karakterherkenning verstoren
OCR-engines verwerken een pagina door deze eerst om te zetten in een binaire zwart-witafbeelding via een proces dat drempelwaarde wordt genoemd. Elke pixel donkerder dan een grenswaarde wordt zwart. Elke pixel lichter wordt wit. Op een schone witte pagina met donkere tekst zorgt de drempelwaarde voor een helder beeld waarbij elke letter duidelijk naar voren komt. Op een achtergrond met een patroon worden de patroonelementen die donkerder zijn dan de drempel, zwarte pixels die vermengd zijn met de tekst. De OCR-engine probeert deze patroonfragmenten vervolgens te interpreteren als delen van letters. Een watermerklijn die door het midden van een 'e' loopt, kan ertoe leiden dat de motor een 'c' met een verdwaalde markering ziet. Een gestructureerde achtergrond met kleine puntjes kan ervoor zorgen dat de engine perioden ziet waarin er geen zijn.
Het specifieke type achtergrondpatroon bepaalt de aard van de OCR-fouten. Fijne puntpatronen, zoals die op veiligheidspapier of vintage typemachinepapier, veroorzaken spikkelruis die de OCR-engine kan interpreteren als leestekens of accenten op tekens. Lijnpatronen, zoals gelinieerd notitieboekjepapier of ruitjespapier, creëren voortdurende interferentie die kan samensmelten met karakterstreken, waardoor een 'l' in een 'b' verandert als een lijn op één lijn ligt met de stijgende lijn. Watermerken met grote tekst of logo's creëren gebieden waar de achtergrondduisternis verschuift, waardoor de drempelwaarde tekst verliest in donkere watermerkgebieden of watermerkfragmenten introduceert als tekst in lichte gebieden.
De dichtheid van het patroon ten opzichte van de tekstdichtheid is van groot belang. Een watermerk dat aanzienlijk lichter is dan de tekst, zoals de meeste professionele watermerken zijn ontworpen, kan de drempelwaarde passeren zonder zichtbare artefacten achter te laten. De standaarddrempel van de OCR-engine is doorgaans ingesteld om zwarte tekst van wit papier te scheiden, en een watermerk dat slechts 10 tot 15 procent grijs registreert, kan geheel onder die drempel vallen. Het probleem is het meest acuut bij patronen die 40 tot 60 procent van de tekstduisternis benaderen, waarbij drempels het patroon niet duidelijk van de tekst kunnen scheiden omdat hun intensiteitsbereiken elkaar overlappen.
Voorbewerkingstechnieken die de OCR-nauwkeurigheid op achtergronden met patronen verbeteren
Verschillende technieken voor het voorbewerken van afbeeldingen kunnen achtergrondpatronen verminderen of elimineren voordat de OCR-engine de pagina verwerkt. De meest effectieve techniek is adaptieve drempelwaarde, waarbij voor elk gebied van de pagina een andere helderheidsgrens wordt berekend in plaats van één enkele globale grenswaarde te gebruiken. In gebieden waar de achtergrond een patroon heeft, wordt de adaptieve drempel aangepast om de gemiddelde patroonhelderheid als achtergrondniveau te behandelen, waarbij de tekst behouden blijft en het patroon wordt onderdrukt. De meeste moderne OCR-software bevat een optie voor adaptieve drempelwaarden, hoewel deze mogelijk niet standaard is ingeschakeld.
Een tweede techniek is frequentiefiltering met behulp van een Fourier-transformatie of een soortgelijk wiskundig hulpmiddel. Achtergrondpatronen zijn doorgaans regelmatig en periodiek, wat betekent dat ze specifieke frequenties in het beeld bezetten. Tekst is daarentegen onregelmatig en bestrijkt een breed scala aan frequenties. Een frequentiedomeinfilter kan de smalle frequentiebanden die bij het achtergrondpatroon horen identificeren en onderdrukken, terwijl het breedbandsignaal van de tekst behouden blijft. Deze techniek is krachtig, maar vereist gespecialiseerde beeldverwerkingssoftware en wordt doorgaans gebruikt voor grootschalige digitaliseringsprojecten in plaats van voor individuele documenten.
De OCR PDF-tool van WukongPDF omvat beeldvoorbewerking die veelvoorkomende achtergrondvariaties verwerkt. Voor documenten met milde tot matige achtergrondpatronen kan de ingebouwde voorverwerking voldoende zijn om bruikbare tekstherkenning te produceren zonder aanvullende handmatige stappen. De sleutel is om de herkenning op een representatieve pagina te testen voordat u zich ertoe verbindt een volledig document te verwerken. Als de testpagina een acceptabele nauwkeurigheid oplevert, gaat u verder met de batch. Als de testpagina aanzienlijke fouten vertoont, moet de afbeelding mogelijk extern worden voorbewerkt vóór OCR.
Wanneer handmatige transcriptie de OCR verslaat op documenten met veel patronen
Er is een kwaliteitsdrempel waaronder OCR-uitvoer zoveel handmatige correctie vereist dat het typen van de tekst vanaf het begin sneller zou zijn. Voor documenten met zware achtergrondpatronen, dichte watermerken of veiligheidsafdrukken die de hele pagina beslaan, kan OCR tekst produceren waarin 20 procent of meer van de tekens verkeerd zijn. Het corrigeren van één op de vijf tekens in een document met meerdere pagina's duurt langer dan het opnieuw typen van de inhoud, vooral als de fouten niet voor de hand liggen, zoals een punt dat is ingevoegd op de plek waar een achtergrondpunt verkeerd is gelezen, waardoor de betekenis van een zin verandert zonder dat deze tijdens het proeflezen gemakkelijk te herkennen is.
De economische beslissing hangt af van de lengte van het document en de vereiste nauwkeurigheid. Een brief van één pagina op briefpapier met een watermerk kan binnen enkele minuten handmatig worden getranscribeerd. Een boek van 200 pagina's gedrukt op structuurpapier vertegenwoordigt weken handmatig werk, en zelfs een onvolmaakte OCR die 85 procent van de tekst correct vastlegt, levert een aanzienlijke voorsprong op. Voor grote projecten is de optimale workflow vaak OCR met agressieve voorverwerking, gevolgd door menselijke beoordeling van de uitvoer, waarbij wordt aanvaard dat de beoordelingsstap door patronen veroorzaakte fouten zal identificeren en corrigeren. De pijplijn Gescande PDF naar doorzoekbare tekst werkt het beste wanneer de verwachtingen voor nauwkeurigheid zijn afgestemd op de moeilijkheidsgraad van het bronmateriaal.
De juiste scaninstellingen kiezen om achtergrondinterferentie te minimaliseren
Wanneer u het scanproces beheert, kunnen verschillende instellingen de zichtbaarheid van het achtergrondpatroon verminderen voordat de afbeelding ooit de OCR-engine bereikt. Door te scannen in grijstinten in plaats van in kleur worden op kleur gebaseerde patronen geëlimineerd, zoals getinte watermerken of gekleurde veiligheidsdraden, die anders contrastvariaties zouden veroorzaken. Als u de helderheid van de scanner iets hoger instelt dan normaal, worden lichte achtergrondpatronen onder de detectiedrempel geduwd, terwijl donkere tekst behouden blijft. Een helderheidsverhoging van 10 tot 15 procent is vaak voldoende om watermerken te verwijderen zonder de leesbaarheid van de tekst aan te tasten.
Sommige scanners beschikken over een functie voor het verwijderen van de achtergrond of het gladmaken van de achtergrond, die speciaal is ontworpen voor documenten op gekleurd papier of papier met patronen. Deze functie analyseert de pagina en identificeert de dominante achtergrondkleur of het dominante patroon, en normaliseert deze vervolgens naar wit, terwijl de inhoud op de voorgrond behouden blijft. Indien beschikbaar moet deze instelling worden ingeschakeld voor elk document dat OCR ondergaat. De verbetering van de herkenningsnauwkeurigheid van schone bronafbeeldingen overtreft ruimschoots wat kan worden bereikt via beeldverwerking na de scan.
De nauwkeurigheid van de OCR op documenten met patronen evalueren: wat u moet accepteren en wat u opnieuw moet typen
De praktische drempel voor aanvaardbare OCR-nauwkeurigheid hangt af van hoe de geëxtraheerde tekst zal worden gebruikt. Voor zoeken in de volledige tekst van een documentarchief kan een nauwkeurigheid van 80 procent voldoende zijn. Een zoekopdracht naar een specifieke naam of rekeningnummer zal het document nog steeds vinden, zelfs als 20 procent van de omringende tekst fouten bevat. Voor het extraheren van tekst die opnieuw wordt gepubliceerd, geciteerd of gebruikt in verdere analyse, is een nauwkeurigheid van 95 procent een geschikter minimum. Beneden dat niveau benadert de tijd die wordt besteed aan het corrigeren van OCR-fouten de tijd die nodig zou zijn om het document handmatig te transcriberen. De beslissing om OCR-uitvoer te accepteren of helemaal opnieuw te typen moet gebaseerd zijn op een gemeten nauwkeurigheidsbeoordeling, en niet op een indruk die ontstaat door een blik op een paar pagina's te werpen.
Om de OCR-nauwkeurigheid te meten, moet een voorbeeld van de herkende tekst worden vergeleken met het originele document. Selecteer drie tot vijf representatieve pagina's, tel het totale aantal tekens in het origineel, tel het aantal tekenfouten in de OCR-uitvoer, inclusief vervangingen, invoegingen en verwijderingen, en bereken het foutenpercentage. Deze meting duurt tien tot vijftien minuten en biedt een objectieve basis om te beslissen of moet worden overgegaan tot geautomatiseerde correctie, handmatige beoordeling of volledig opnieuw typen. De meting identificeert ook welke soorten fouten het meest voorkomen, wat als leidraad dient voor de keuze van de correctiestrategie. Als de fouten geconcentreerd zijn in specifieke patroontypen, kan gerichte voorverwerking deze mogelijk verhelpen. Als de fouten willekeurig verdeeld zijn, wordt de OCR-nauwkeurigheid beperkt door de fundamentele kwaliteit van de bronafbeelding en niet door een specifiek corrigeerbaar probleem.
Achtergrondpatronen op papier zijn nooit ontworpen met OCR in gedachten. Ze dienen doeleinden van merkidentiteit tot beveiliging tegen vervalsing tot eenvoudige decoratieve aantrekkingskracht. De PDF Images die uit deze documenten zijn vastgelegd, dragen de patronen over naar de digitale wereld, waar ze obstakels worden voor het extraheren van tekst. Als u begrijpt welke patronen kunnen worden verholpen door voorverwerking en welke handmatig werk vereisen, kunt u weloverwogen beslissingen nemen over elk document, in plaats van dezelfde OCR-workflow op elke scan toe te passen en er maar het beste van te hopen. De tijd die u investeert in het begrijpen van de specifieke achtergronduitdagingen van uw document betaalt zich terug in een hogere nauwkeurigheid, minder handmatige correctie en een digitale tekstuitvoer die de originele inhoud getrouw weergeeft.
OCR op achtergronden met patronen bevindt zich op het kruispunt van scantechnologie, beeldverwerking en documentworkflowontwerp. Er is geen enkele techniek die elk probleem met achtergrondpatronen oplost, maar de combinatie van de juiste scaninstellingen, adaptieve voorverwerking en realistische nauwkeurigheidsverwachtingen levert bruikbare resultaten op voor de overgrote meerderheid van de documenten. De tools bestaan en de technieken zijn goed ingeburgerd. Door ze systematisch toe te passen, verandert een frustrerende OCR-fout in een beheersbaar kwaliteitscontroleproces.