Warum OCR Probleme mit überlappenden Fußnotentexten und Randinhalten hat
Optische Zeichenerkennungs-Engines funktionieren am besten, wenn der Text in sauberen, vorhersehbaren Blöcken mit konsistentem Zeilenabstand und klarer Trennung zwischen den Inhaltsbereichen steht. Eine OCR PDF-Operation an einem Standard-Geschäftsbrief oder einer Romanseite führt normalerweise zu genauen Ergebnissen, da der Text in geordneten Absätzen mit breiten Rändern auf allen Seiten fließt. Akademische Arbeiten stellen ein grundsätzlich schwierigeres Problem dar, da ihr Layout bewusst mehrere unterschiedliche Textströme in räumlicher Nähe zusammenfasst, wobei Fußnoten, Randzitate und Fließtext sich an ihren Grenzen oft berühren oder überlappen.
Die größte Herausforderung ist die Segmentierung, der Schritt, bei dem die OCR-Engine das Seitenbild in Textbereiche unterteilt, bevor sie versucht, die Zeichen zu erkennen. Wenn eine hochgestellte Fußnotenreferenznummer im Fließtext direkt über einer Fußnotentrennlinie steht und diese Linie direkt über dem Fußnotentext selbst in einer kleineren Schriftgröße liegt, muss der Segmentierungsalgorithmus entscheiden, wo ein Textbereich endet und der nächste beginnt. Eine falsche Segmentierungsentscheidung führt hier zu Erkennungsfehlern, da Zeichen aus zwei verschiedenen Textströmen in die Erkennungsmaschine eingespeist werden, als wären sie eine einzige durchgehende Zeile. Die Ausgabe liest sich als Kauderwelsch, bei dem Fließtextwörter mit Fußnotenfragmenten vermischt werden.
Randzitate fügen dem Problem einen dritten Textstrom hinzu. In geisteswissenschaftlichen Arbeiten im Chicago-Stil oder juristischen Dokumenten im Bluebook-Format verlaufen Randnotizen, Zeilennummern oder parallele Zitate vertikal oder horizontal neben der Haupttextspalte. Diese Randelemente werden häufig mit einer kleineren Punktgröße gedruckt, manchmal 7 oder 8 Punkt, und verwenden möglicherweise kursive oder komprimierte Schriftarten, mit denen OCR-Engines bei normalen Größen bereits Probleme haben. Wenn der Randtext physisch den Fließtext berührt, was in eng formatierten Zeitschriften mit schmalen Zwischenräumen häufig vorkommt, besteht die Herausforderung bei der Segmentierung in drei Richtungen statt in zwei Richtungen.
Die Papierqualität der Quelle Gescanntes PDF erhöht auch die OCR-Schwierigkeit. Viele wissenschaftliche Arbeiten werden aus gebundenen Bänden gescannt, bei denen die Seitenkrümmung in der Nähe des Rückens dazu führt, dass sich der Text verbiegt und verzerrt. Fußnoten am Ende der Seite sind der Abschnitt, der am stärksten von der Krümmung des Buchrückens betroffen ist, da sie sich am nächsten an der Bindung befinden. Die Kombination aus physischer Verzerrung durch die gekrümmte Seite, kleiner Schriftgröße und unmittelbarer Nähe zum darüber liegenden Textkörper schafft einen perfekten Sturm ungünstiger Bedingungen für die OCR-Genauigkeit.
Probieren Sie PDF-OCR aus
Keine Installation erforderlich. Funktioniert direkt in Ihrem Browser.
Vorverarbeitung der gescannten Seite, um überlappende Textbereiche zu trennen
Die effektivste Möglichkeit, die OCR-Genauigkeit auf akademischen Seiten mit überlappenden Textelementen zu verbessern, besteht darin, das Seitenbild vorzuverarbeiten, bevor es jemals die OCR-Engine erreicht. Diese Vorverarbeitung trennt die verschiedenen Textströme, sodass die Engine nie mehrdeutige Segmentierungsentscheidungen treffen muss.
Beginnen Sie damit, die gescannte Seite gerade auszurichten, um sicherzustellen, dass alle Textzeilen perfekt horizontal verlaufen. Selbst eine Neigung des Originalscans um ein Grad kann dazu führen, dass Fußnotentext an den Seitenrändern in den Fließtextbereich wandert und falsche Überlappungen entstehen, die auf einer ordnungsgemäß ausgerichteten Seite nicht vorhanden wären. Die meisten Programme zum Scannen von Dokumenten verfügen über eine automatische Geradeausrichtung, aber bei wissenschaftlichen Arbeiten, die aus gebundenen Bänden gescannt werden, führt die manuelle Geradeausrichtung mit einer Referenzlinie, die entlang der Grundlinie des Textkörpers gezogen wird, zu genaueren Ergebnissen als die automatische Korrektur.
Nach dem Entzerren ist der nächste Schritt die Bereichsmaskierung. Zeichnen Sie mit einem Bildeditor oder einem speziellen OCR-Vorverarbeitungstool eine horizontale Trennlinie zwischen dem Textkörperbereich und dem Fußnotenbereich. Diese Zeile weist die nachgeschaltete OCR-Engine an, alles darüber als einen Textbereich und alles darunter als separaten Textbereich zu behandeln. Auf Seiten, auf denen Fußnoten vorhanden sind, sollte das Trennzeichen direkt über der Fußnotenlinie liegen, der kurzen horizontalen Linie, die in gedruckten wissenschaftlichen Arbeiten traditionell den Fließtext von den Fußnoten trennt. Auf Seiten ohne Fußnoten ist kein Trennzeichen erforderlich.
Für Randzitate und Zeilennummern ist die vertikale Maskierung der äquivalente Ansatz. Zeichnen Sie eine vertikale Trennlinie zwischen dem Randtext und der Haupttextspalte. Auf Seiten mit Zeilennummern am linken Rand und Zitaten am rechten Rand benötigen beide Seiten vertikale Trennzeichen. Das Ziel besteht darin, die Seite in rechteckige Bereiche zu unterteilen, wobei jeder Bereich genau einen Textstrom enthält. Die OCR-Engine verarbeitet dann jeden Bereich unabhängig und erzeugt separate erkannte Textausgaben, die Sie nach Abschluss der Erkennung wieder in der richtigen Lesereihenfolge zusammensetzen können.
Konfigurieren der OCR-Einstellungen für Multi-Stream-Akademische Seiten
Die meisten professionellen OCR-Engines bieten Einstellungen, die bei Seitenlayouts mit mehreren Spalten und mehreren Streams hilfreich sind. Enabling automatic layout analysis is the starting point, but for academic pages with close-proximity text streams, manual zone configuration produces better results than fully automatic analysis.
Definieren Sie separate Erkennungsbereiche für den Haupttext, den Fußnotenbereich und jeden Randtextbereich. Legen Sie in jeder Zone die entsprechende Sprache, den erwarteten Schriftgrößenbereich und die Textausrichtung fest. Fließtextzonen sollten mit 10 bis 12 Punkt Text in horizontaler Ausrichtung von links nach rechts rechnen. Fußnotenzonen sollten mit 8 bis 10 Punkt Text rechnen, immer noch horizontal, aber mit dem Bewusstsein, dass Fußnotentext oft URLs, DOIs und Zitatzeichenfolgen enthält, die Sprachmodelle, die natürliche Prosa erwarten, verwirren können.
Aktivieren Sie speziell für den Textkörperbereich die Einstellung, die hochgestellten und tiefgestellten Text zum Zwecke der Zeilensegmentierung ignoriert. Hochgestellte Fußnotenreferenznummern und mathematische Exponenten sind normalerweise kleiner und über die Grundlinie hinaus erhöht, was zu Fehlern bei der Berechnung der Zeilenhöhe führt, wenn die Engine sie als Teil der normalen Textzeile behandelt. Ignoring superscript positioning for segmentation purposes keeps the body text lines intact while the footnote markers are recognized as separate small elements that do not affect line boundaries.
Die Ausgabequalität PDF zu Text verbessert sich erheblich, wenn das Erkennungsergebnis jeder Zone in einer separaten Textdatei oder einem separaten markierten Abschnitt innerhalb einer kombinierten Ausgabe gespeichert wird. Durch diese zonengetrennte Ausgabe lässt sich leicht überprüfen, ob der Fließtext nicht in den Fußnotentext übergegangen ist und ob Randzitate in einem eigenen, klar gekennzeichneten Ausgabeabschnitt erscheinen und nicht mit dem Hauptinhalt verschachtelt sind.
Bereinigung nach der Anerkennung für die akademische OCR-Ausgabe
Selbst bei sorgfältiger Vorverarbeitung und Zonenkonfiguration sind einige Erkennungsfehler auf dicht gepackten akademischen Seiten unvermeidlich. Ein strukturierter Bereinigungsprozess nach der Erkennung erkennt und korrigiert diese verbleibenden Fehler, bevor der Text in das endgültige Dokument gelangt.
Führen Sie eine Rechtschreibprüfung nur für die Textausgabe durch, wobei das Rechtschreibwörterbuch auf die Primärsprache des Dokuments eingestellt ist. Wörter, die im Fließtext als falsch geschrieben markiert wurden und sich als korrekt geschriebener Fußnoteninhalt herausstellen, sind ein klares Zeichen dafür, dass die Grenzen der Fließtextzone zu großzügig waren und den Fußnotentext erfassten. Passen Sie die Zonengrenze für diese Seiten an und führen Sie die Erkennung erneut aus, anstatt die Fußnotenfragmente manuell herauszuschneiden.
Stellen Sie bei der Fußnotentextausgabe sicher, dass jede Fußnote mit der erwarteten Referenznummer beginnt und dass der Fußnotentext kontinuierlich fließt, ohne dass Textfragmente eingestreut sind. Ein häufiges Fehlermuster nach der Erkennung besteht darin, dass Textzeilen in der Mitte des Fußnotentexts erscheinen, wenn die Textspalte tiefer auf der Seite liegt als die erwartete Zonengrenze. Wenn Sie das Bild der Originalseite zusammen mit dem erkannten Fußnotentext überprüfen, werden diese Eingriffe schnell erkannt, da das Thema des Satzes abrupt vom akademischen Thema zu einem nicht verwandten Thema des Hauptabsatzes wechselt.
Das OCR-Tool von WukongPDF unterstützt die zonenbasierte Erkennung komplexer Seitenlayouts, einschließlich mehrspaltiger wissenschaftlicher Arbeiten mit Fußnoten und Randinhalten. Das Definieren zonenspezifischer Einstellungen für Sprache, Schriftgrößenbereich und Textausrichtung vor Beginn des Erkennungsdurchlaufs führt zu einer genaueren OCR PDF-Ausgabe als die Einzelzonenverarbeitung auf denselben Seiten, und das getrennte Ausgabeformat erleichtert die Überprüfung nach der Erkennung.
Umgang mit Sonderfällen: Mathematische Notation, nicht-lateinische Schriften und gemischte Sprachen
Akademische Arbeiten in MINT-Fächern ergänzen die Herausforderung des überlappenden Textes durch mathematische Notation. Mit Fließtext durchsetzte Gleichungen und Formeln führen zu zusätzlicher Segmentierungskomplexität, da in der mathematischen Notation Symbole, griechische Buchstaben und zweidimensionale Formatierungen wie Brüche und hochgestellte Zeichen verwendet werden, die nicht denselben Layoutregeln wie Prosatext folgen. OCR-Engines, die für Dokumenttext entwickelt wurden, schneiden bei der mathematischen Notation schlecht ab, und für Mathematik entwickelte Engines schneiden bei Dokumenttext schlecht ab.
Der praktischste Ansatz für Seiten mit einer Mischung aus Mathematik und Prosa ist eine OCR-Strategie mit zwei Durchgängen. Im ersten Durchgang wird eine dokumentoptimierte Engine verwendet, um alle Prosatextbereiche zu erkennen, einschließlich Fließtext, Fußnoten und Randzitate. Im zweiten Durchgang wird eine mathematisch orientierte Erkennungsmaschine für die spezifischen Seitenbereiche verwendet, die Gleichungen enthalten. Das Zusammenführen der beiden Ausgaben in einem kombinierten Dokument, das sowohl die Prosagenauigkeit der Dokument-Engine als auch die Formelgenauigkeit der Mathematik-Engine beibehält, führt zu dem zuverlässigsten Gesamtergebnis.
Konfigurieren Sie für Aufsätze, die lateinische und nicht-lateinische Schriften mischen, wie etwa englischsprachige Aufsätze mit arabischen, chinesischen oder kyrillischen Zitaten in Fußnoten, jede Erkennungszone mit der richtigen Primärschrift. Der Textkörperbereich verwendet die Primärsprache des Dokuments. Fußnotenzonen, die nicht-lateinische Skriptpassagen enthalten, benötigen möglicherweise eine Konfiguration für die Erkennung mehrerer Skripte, die zwischen Skripten innerhalb eines einzelnen Textbereichs wechseln kann.
Die folgende Tabelle fasst die empfohlenen OCR-Zonenkonfigurationen für verschiedene Seitenbereiche in wissenschaftlichen Arbeiten zusammen.
| Seitenbereich | Erwartete Schriftgröße | Ausrichtung | Sondereinstellungen |
|---|---|---|---|
| Fließtext | 10-12 Pkt | Horizontal | Hochgestelltes Zeichen für Liniensegmentierung ignorieren |
| Fußnoten | 8-10 Pkt | Horizontal | Mehrfachschrift, wenn Zitate nicht-lateinischen Text enthalten |
| Linker Rand (Zeilennummern) | 7-9 Pkt | Horizontal oder vertikal | Als separate Ausgabe extrahieren; nicht mit dem Körper verschmelzen |
| Rechter Rand (Zitate) | 7-9 Pkt | Horizontal | Als separate Ausgabe extrahieren |
| Gleichungen/Formeln | Variable | Horizontal mit 2D-Layout | Verwenden Sie im zweiten Durchgang eine mathematikfähige Engine |
Probieren Sie PDF-OCR aus
Keine Installation erforderlich. Funktioniert direkt in Ihrem Browser.