Das Ausführen von OCR PDF auf ein gescanntes Dokument führt zu erkanntem Text. Für die meisten Benutzer ist das Ziel ein durchsuchbares PDF. Wenn der erkannte Text jedoch in eine Datenbank importiert, von einer Suchmaschine indiziert oder von einer Anwendung abgefragt werden muss, sind die standardmäßigen OCR-Ausgabeformate nicht ideal. Der Export von OCR-Ergebnissen in ein strukturiertes Format, das für den Datenbankimport und die Indizierung optimiert ist, verwandelt ein gescanntes Dokumentenarchiv in abfragbare Daten, die in Geschäftssysteme integriert werden können.
Wichtige Erkenntnisse
Zu den datenbankfähigen OCR-Ausgabeformaten gehören CSV für tabellarische Daten, JSON für strukturierte Dokumentinhalte und XML für Dokumente, bei denen die hierarchische Struktur erhalten bleiben muss. Der Hauptunterschied zur Standard-OCR-Ausgabe besteht darin, dass datenbankorientierte Formate eine konsistente Feldzuordnung, Datentypindikatoren und Fehlerbehandlung für Erkennungsergebnisse mit geringer Vertrauenswürdigkeit umfassen. Durch die Vorbereitung der PDF-Datei vor der OCR, einschließlich Entzerrung, Kontrastverbesserung und Auflösungsanpassung, wird die Qualität der exportierten Daten erheblich verbessert.
Wählen Sie das richtige Ausgabeformat für Ihre Datenbank
Die CSV-Ausgabe eignet sich ideal für gescannte Formulare und Tabellen, bei denen jedes Dokument einer Zeile in einer Datenbank entspricht. Jedes Formularfeld wird zu einer Spalte und jedes gescannte Dokument wird zu einer Zeile. CSV-Importe direkt in Tabellenkalkulationsanwendungen und relationale Datenbanken ohne Konvertierung. Die Einschränkung besteht darin, dass CSV keine hierarchischen Daten darstellen kann. Wenn das gescannte Dokument verschachtelte Strukturen aufweist, beispielsweise eine Rechnung mit mehreren Einzelposten, werden Sie durch CSV gezwungen, entweder die Struktur zu reduzieren oder die Ausgabe auf mehrere Dateien aufzuteilen.
Die JSON-Ausgabe verarbeitet verschachtelte und variable Strukturen auf natürliche Weise. Eine Rechnung mit einem Kopfabschnitt und mehreren Einzelposten wird als JSON-Objekt mit einem Kopfzeilen-Array und einem Einzelposten-Array dargestellt. JSON lässt sich in Dokumentdatenbanken wie MongoDB, Suchindizes wie Elasticsearch und die meisten modernen Anwendungsplattformen importieren. Die PDF-Daten extrahieren Pipeline von OCR über JSON zur Datenbank ist im Jahr 2025 die gebräuchlichste Architektur für Dokumentverständnisanwendungen. Die JSON-Struktur behält auch OCR-Konfidenzwerte bei, wodurch die Datenbankabfrage Ergebnisse mit geringer Konfidenz automatisch herausfiltern kann.
Die XML-Ausgabe wird bevorzugt, wenn die gescannten Dokumente einem branchenüblichen Schema entsprechen müssen. Die Verarbeitung von juristischen, medizinischen und behördlichen Dokumenten erfordert häufig eine XML-Ausgabe, die anhand einer bestimmten Dokumenttypdefinition validiert wird. Das XML-Format unterstützt sowohl Struktur als auch Metadaten in einer einzigen Datei und ist das erforderliche Eingabeformat für viele Enterprise-Content-Management-Systeme. Das OCR-Tool von WukongPDF unterstützt die Ausgabeformate CSV, JSON und XML, sodass Sie ohne Nachbearbeitung das Format auswählen können, das Ihrer Datenbankimportpipeline entspricht.
Probieren Sie PDF-OCR aus
Keine Installation erforderlich. Funktioniert direkt in Ihrem Browser.
Gescannte PDFs für eine bessere OCR-Genauigkeit vorverarbeiten
Bei Dokumenten, die ursprünglich auf farbigem Papier gedruckt wurden oder mit der Zeit vergilbt sind, kann die Konvertierung des Scans in reines Schwarzweiß vor der OCR die Erkennungsgenauigkeit erheblich verbessern. Die OCR-Engine hat Schwierigkeiten, Text von einem farbigen oder strukturierten Hintergrund zu trennen. Durch die Konvertierung in Schwarzweiß mit einem Schwellenwert, der den Text beibehält und gleichzeitig den Hintergrund entfernt, erhält die OCR-Engine eine saubere Eingabe. Die meisten Scansoftware und Bildbearbeitungsprogramme verfügen über eine Schwarz-Weiß-Konvertierung mit einstellbarem Schwellenwert. Testen Sie einige Seiten mit unterschiedlichen Schwellenwerten, um die Einstellung zu finden, die den saubersten Text erzeugt.
Der Datenbankimport verstärkt OCR-Fehler. Ein falsch gelesenes Zeichen in einer durchsuchbaren PDF-Datei stellt eine kleine Unannehmlichkeit dar. Derselbe Fehler in einem Datenbankfeld kann dazu führen, dass ein Datensatz nicht auffindbar, falsch kategorisiert oder der falschen Entität zugeordnet ist. Durch den Zeitaufwand für die Vorverarbeitung gescannter Dokumente vor der OCR wird die Fehlerquote erheblich gesenkt. Die drei wirkungsvollsten Vorverarbeitungsschritte sind das Entzerren von Seiten, die auch nur um ein paar Grad gedreht sind, das Erhöhen des Kontrasts, damit sich Text deutlich vom Hintergrund abhebt, und das Sicherstellen, dass die Scanauflösung mindestens 300 DPI beträgt.
Durch die Schräglagenkorrektur werden Seiten korrigiert, die in einem leichten Winkel gescannt wurden. Selbst eine Drehung um zwei Grad kann dazu führen, dass OCR-Engines Zeichen an den Zeilenrändern falsch lesen. Die meisten OCR-Tools verfügen über eine automatische Schräglagenkorrektur, es lohnt sich jedoch zu überprüfen, ob sie in Ihren Dokumenten korrekt aktiviert wurde. Öffnen Sie einige OCR-verarbeitete Seiten und prüfen Sie, ob die erkannten Textfelder mit dem sichtbaren Text übereinstimmen. Falsch ausgerichtete Kästchen weisen auf einen Entzerrungsfehler hin, der zu fehlerhaften Daten in der Datenbank führt. Die Kontrastverstärkung ist besonders wichtig für Dokumente, die aus gealtertem oder vergilbtem Papier gescannt wurden. Durch Erhöhen des Kontrasts zwischen Text und Hintergrund vor der OCR kann die Erkennungsgenauigkeit bei anspruchsvollen Scans um 10 bis 20 Prozent verbessert werden.
OCR-Ausgabefelder Datenbankspalten zuordnen
Bei Dokumenten, bei denen die Feldpositionen von Seite zu Seite erheblich variieren, sind Schlüsselwortanker zuverlässiger als feste Koordinaten. Definieren Sie Extraktionsregeln basierend auf dem Text, der den Zieldaten vorangeht oder folgt, und nicht auf seiner Position. Eine Regel wie „Extrahieren Sie die Zahl nach der Bezeichnung „Rechnungssumme““ funktioniert unabhängig davon, wo diese Bezeichnung auf der Seite erscheint. Für die schlüsselwortbasierte Extraktion muss die OCR-Ausgabe den vollständigen erkannten Text in seiner ursprünglichen räumlichen Reihenfolge enthalten, die bei der JSON-Ausgabe erhalten bleibt und bei der CSV-Ausgabe normalerweise nicht.
Die Lücke zwischen OCR-Ausgabe und Datenbankimport ist die Feldzuordnung. OCR erzeugt nach Seitenposition geordneten Text. Die Datenbank erwartet Text, der nach Feldnamen geordnet ist. Um diese Lücke zu schließen, muss eine Zuordnung definiert werden, die besagt, dass der Text in der oberen rechten Ecke der ersten Seite tatsächlich die Rechnungsnummer ist und in die Spalte „voice_number“ eingefügt wird. Für strukturierte Formulare, deren Layout in allen Dokumenten konsistent ist, definieren Sie die Zuordnung einmalig mithilfe von Positionskoordinaten oder Schlüsselwortankern.
Für halbstrukturierte Dokumente mit unterschiedlichem Layout verwenden Sie die schlüsselwortbasierte Zuordnung anstelle der Positionszuordnung. Definieren Sie Regeln wie „Die Nummer, die auf den Text Rechnungsnr. folgt, ist die Rechnungsnummer, unabhängig von ihrer Position auf der Seite.“ Die schlüsselwortbasierte Zuordnung ist bei allen Layoutvarianten zuverlässiger, erfordert jedoch, dass die OCR-Ausgabe den erkannten Text mit Positionsmetadaten enthält. Dies ist ein weiterer Grund, für Dokumente mit variablem Layout die JSON- oder XML-Ausgabe anstelle von CSV zu wählen. Die Positionsmetadaten in JSON und XML ermöglichen eine schlüsselwortbasierte Feldextraktion. Für umfangreiche Datenbankimportprojekte umfasst die Scanned PDF OCR-Pipeline von WukongPDF eine konfigurierbare Feldzuordnung, die eine konsistent strukturierte CSV- oder JSON-Datei ausgibt, die für die direkte Datenbankaufnahme bereit ist.
Verarbeiten von OCR-Konfidenzwerten bei Datenbankimporten
Implementieren Sie für Datenbankanwendungen, bei denen es auf Genauigkeit ankommt, einen OCR-Workflow mit zwei Durchgängen. Im ersten Durchgang werden alle Dokumente mit Standardeinstellungen verarbeitet. Dokumente mit Konfidenzwerten unterhalb des Schwellenwerts werden markiert und mit erweiterten Einstellungen wie höherer Auflösung, Schräglagenkorrektur und Kontrastanpassung erneut verarbeitet. Der Zwei-Durchlauf-Ansatz konzentriert die zusätzliche Verarbeitungszeit auf die Dokumente, die sie benötigen, anstatt den gesamten Stapel zu verlangsamen.
Jedes OCR-Ergebnis trägt einen Konfidenzwert, typischerweise eine Zahl von 0 bis 100, der die Sicherheit der Engine angibt, dass der erkannte Text mit dem auf der Seite übereinstimmenden Text übereinstimmt. Legen Sie beim Importieren von OCR-Ergebnissen in eine Datenbank einen Konfidenzschwellenwert fest. Ergebnisse oberhalb des Schwellenwerts werden automatisch importiert. Ergebnisse unterhalb des Schwellenwerts werden zur menschlichen Überprüfung markiert. Der Schwellenwert hängt von den Fehlerkosten in Ihrer Anwendung ab. Ein Suchindex kann einen niedrigeren Schwellenwert tolerieren, da Benutzer Ergebnisse überfliegen und schlechte Übereinstimmungen ignorieren können. Eine Finanzdatenbank, in der Zahlen direkt in Berechnungen einfließen, benötigt einen hohen Schwellenwert, normalerweise 95 oder mehr.
Speichern Sie den Konfidenzwert zusammen mit dem erkannten Text in der Datenbank. Ein Feld wie „invoice_total“ mit einem Wert von 250,00 und einer Konfidenz von 98 ist vertrauenswürdig. Der gleiche Wert mit einer Konfidenz von 62 sollte als vorläufig behandelt werden. Anwendungen, die die Datenbank abfragen, können den Konfidenzwert verwenden, um Werte mit geringer Konfidenz mit einem visuellen Indikator anzuzeigen, z. B. einer gelben Hervorhebung oder einem Warnsymbol, um Benutzer darauf aufmerksam zu machen, die Daten zu überprüfen, bevor sie sich darauf verlassen. Der Konfidenzwert fügt eine Dimension der Datenqualität hinzu, die die flache Textausgabe nicht bieten kann.
Häufig gestellte Fragen
Wie soll ich bei der Vorbereitung für den Datenbankimport mit PDFs umgehen, die gescannte Seiten mit nativen digitalen Seiten vermischen? Verarbeiten Sie die gescannten Seiten durch OCR und die digitalen Seiten durch Textextraktion getrennt und kombinieren Sie dann die Ergebnisse. Digitale Seiten benötigen keine OCR und die Ausführung von OCR auf ihnen kann tatsächlich die Textqualität verschlechtern, indem es zu Erkennungsfehlern führt, wenn der ursprüngliche digitale Text vollkommen korrekt war. Die meisten Stapelverarbeitungstools können erkennen, welche Seiten gescannt und welche digital sind, und sie automatisch an den entsprechenden Verarbeitungspfad weiterleiten.
Wie viele gescannte Seiten kann ich für den Datenbankimport in einem Stapel verarbeiten?
Moderne OCR-Engines können auf Standardhardware Tausende von Seiten pro Stunde verarbeiten. Die praktische Grenze ist nicht die OCR-Geschwindigkeit, sondern die Validierungszeit. Planen Sie Zeit ein, um eine Stichprobe der Ausgabe zu überprüfen, bevor Sie den gesamten Stapel in eine Produktionsdatenbank importieren. Eine 5-prozentige Stichprobenprüfung erkennt systematische OCR-Fehler, die sich auf die gesamte Charge auswirken würden.
Soll ich das ursprünglich gescannte PDF zusammen mit den extrahierten Daten in der Datenbank speichern?
Ja, sofern die Datenbank dies unterstützt. Durch das Speichern der Quell-PDF-Datei verknüpft mit den extrahierten Daten wird ein Prüfprotokoll erstellt. Wenn eine Frage zur Datenqualität auftritt, können Benutzer den Originalscan öffnen und den extrahierten Wert anhand des Quelldokuments überprüfen. Diese Verknüpfung zwischen extrahierten Daten und Quelldokument ist in vielen regulierten Branchen für die Einhaltung von Vorschriften erforderlich.
Kann OCR handschriftlichen Text für den Datenbankimport verarbeiten?
Die Handschrifterkennung hat sich erheblich verbessert, ist jedoch nach wie vor ungenauer als die Erkennung gedruckter Texte. Für den Datenbankimport sollten handgeschriebene Felder zur menschlichen Überprüfung weitergeleitet und nicht automatisch importiert werden, es sei denn, die Handschrift ist eingeschränkt, wie z. B. Zahlen, die in einzelne Felder eines Formulars geschrieben werden. Freihandschrift auf unstrukturierten Dokumenten ist für den automatisierten Datenbankimport in den meisten Anwendungen nicht zuverlässig genug.
Probieren Sie PDF-OCR aus
Keine Installation erforderlich. Funktioniert direkt in Ihrem Browser.