混合ソースから組み立てられたスキャンされた PDF には、多くの場合、縦向きと横向きの両方のページが含まれます。財務スプレッドシートは横長のページとして表示されます。付属のテキスト文書は縦向きのページとして表示されます。このような文書に対して向きの混在を考慮せずに OCR を実行すると、OCR エンジンが間違った向きでページを処理したために、横向きのページ上の単語がスクランブルされたり、回転されたり、完全に欠落したりする認識されたテキストが生成されます。
OCR PDF エンジンはテキスト行を分析して文字の位置と読み取り順序を決定します。ページがエンジンの予想に対して 90 度回転すると、テキスト行は水平ではなく垂直に実行されます。エンジンはテキストを完全に認識できないか、縦方向に読み取ろうとし、無意味な出力を生成します。向きが混在したドキュメントでは、OCR 処理の前にページごとの向きを検出する必要があります。
WukongPDF の スキャン PDF OCR ツールは、認識プロセス中に各ページの自動回転検出を使用して、混合ページ方向を処理します。
OCR の精度にとってページの向きが重要な理由
OCR エンジンは、文字の行を検出し、各行内の形状を分析することによって機能します。縦向きのページにはテキスト行が水平方向に走りますが、これはエンジンによって自然に処理されます。横方向のページを回転補正せずに表示すると、OCR エンジンの観点からはテキスト行が垂直に表示されます。エンジンは横書きテキストを想定していますが、縦書きテキストを読むことはできません。
解決策は、OCR の前に各ページの向きを検出し、処理前に横向きのページを縦向きに回転させることです。 OCR 後、認識されたテキスト レイヤーが正しく配置された状態で、ページを回転して元の向きに戻すことができます。処理中の回転によってドキュメントが永続的に変更されるわけではありません。 OCR エンジンがページを認識する方法が変更されるだけです。
ほとんどの自動 OCR ツールは、すべてのページが同じ方向を共有していると想定しています。これは、単一のセッションで単一のスキャナーによって作成されたドキュメントでは一般的なケースであるためです。異なるソースからのスキャンを組み合わせて作成されることが多い混合方向のドキュメントでは、ページごとの変動を正しく処理するために明示的な構成が必要です。
方法 1: ページごとの回転検出を備えた Acrobat Pro
Acrobat Pro の OCR 機能は、適切に設定されている場合、向きが異なる文書を処理できます。 Acrobat Pro でスキャンした PDF を開き、[ツール]、[スキャンと OCR]、[テキスト認識]、[このファイル内] の順に移動します。 [テキスト認識設定] ダイアログで、ドキュメントの主言語として正しい OCR 言語が選択されていることを確認します。 「設定」セクションで、「傾き補正と傾き補正」オプションを有効にします。これにより、Acrobat がページの回転を検出できるようになります。
Acrobat は各ページを個別に処理し、主要なテキストの向きを検出しようとします。検出が正しいページの場合、OCR 出力は正確で読み取り可能です。最小限のテキストや複雑なビジュアル背景を含むページなど、検出が失敗したページでは、OCR 出力がスクランブルされるか、まったく表示されない可能性があります。 OCR 処理後、特に横向きのページを確認します。それらのページで視覚的に確認できるテキストを検索します。検索で何も見つからなかった場合は、Acrobat が方向を誤って認識した可能性があります。
誤って識別されたページについては、ページ整理ツールでページを手動で回転し、それらのページに対してのみ OCR を再実行します。手動介入は影響を受けるページごとにほんの一瞬しかかからず、すべてのページで正確に認識されたテキストが検索可能なドキュメント出力に反映されます。
方法 2: OCRmyPDF による前処理
Tesseract OCR 上に構築されたオープンソース コマンド ライン ツールである OCRmyPDF は、組み込みのデスキュー機能を通じて混合方向のページを処理します。コマンド ocrmypdf --deskew input.pdf out.pdf は、各ページのテキストの向きを検出し、必要に応じてページを回転し、Tesseract で OCR を実行し、検索可能な PDF を出力します。デスキュー フラグは、混在方向のドキュメント処理に不可欠なパラメータです。
OCRmyPDF はページを順番に処理し、ページごとの方向補正を自動的に適用します。極端に回転している文書や、横書きと縦書きの両方のテキストが含まれるページの場合、デスキュー アルゴリズムは、主要なテキスト方向に基づいてページの向きを調整し、ページ コンテンツの大部分に対して最良の OCR 結果を提供します。少数派のテキスト方向は精度がわずかに低下する可能性がありますが、通常は依然として認識されます。
ドキュメント ワークフローでは、向きが混在したドキュメントの大量バッチ処理の場合、OCRmyPDF とフォルダー内のすべての PDF を処理するシェル スクリプトを組み合わせることで、ドキュメントごとに手動で構成する必要がなく、完全に自動化された OCR が提供されます。自動化は日常的な処理を処理し、人間によるレビューが必要となるのは例外ケースのみです。
特にランドスケープ ページでの OCR 出力の検証
OCR 処理後、別の重点チェックとして横向きページの出力を検証します。出力 PDF の横向きページのテキストを選択し、プレーン テキスト エディターにコピーします。コピーされたテキストは、ビジュアル ページのコンテンツと上から下、左から右に一致する正しい順序で読み取られる必要があります。単語が乱れていたり、順序が乱れていたり、意味のないシーケンスで表示されている場合、そのページの向きの検出は失敗しています。
横長のページに表示される特定の既知の用語を検索します。ランドスケープ ページの財務表には、OCR 出力で検索できる特定の口座コード、部門名、または数値が含まれている場合があります。検索で、同じ文書の横長のページでは一致が見つからず、縦長のページでは一致が見つかった場合は、OCR エンジンが横長のコンテンツを完全に見逃している可能性があります。これらのページは、手動で向きを指定して再処理する必要があります。
ドキュメント ワークフローでは、検索可能なアーカイブとして機能するドキュメントの検証ステップが、ドキュメントが永久コレクションに登録される前に方向関連の OCR 問題を検出する品質ゲートとなります。コンテンツのページ全体がサイレントに欠落する未検証の OCR 出力は、検索可能なアーカイブを作成する目的を台無しにします。
混合方向のスキャンされたコレクションのバッチ処理
向きが混在したスキャンされたドキュメントの大規模なコレクションの場合、ページごとに手動で検証することは現実的ではありません。 OCRmyPDF とデスキュー フラグを使用してプロセスを自動化し、各出力ページに検索可能なテキストが存在するかどうかをチェックする検証スクリプトを実行します。認識されたテキスト文字がゼロ、または文字数が非常に少ないページには、手動レビューおよび再処理の可能性のフラグが立てられます。
検証スクリプトは、OCR 処理された各 PDF を読み取り、ページごとにテキスト レイヤーを抽出し、各ページで認識された文字の数をカウントします。最小文字しきい値 (10 文字など) を下回るページには、未処理または方向が間違っている可能性があるとしてフラグが立てられます。フラグが立てられたページはレポートにまとめられ、すべてのページのレビューを必要とするのではなく、実際に人間の注意が必要なページのみを手動でレビューするように導きます。
ワークフローに関しては、新しいスキャンされたドキュメントが定期的に到着する進行中のデジタル化プロジェクトでは、バッチ処理と検証のワークフローが標準の操作手順になります。新しいドキュメントはパイプラインに入り、方向検出を備えた OCR によって自動的に処理され、例外のみが人間の介入を必要とします。自動化がルーチンを処理します。人間のレビュー担当者が例外を処理します。
内部回転によるページの OCR の改善
スキャンされた文書の中には、ページ自体が回転されるのではなく、ページ内でコンテンツが回転されるページが含まれる場合があります。ページの寸法を縦長に保ちながら表の内容を 90 度回転することにより、横長の財務表を縦長のドキュメントに挿入できます。これらのページは、ページの寸法からは回転が必要であることを示さないため、方向の検出が最も困難です。
ドキュメント処理では、内部回転のあるページの場合、手動の前処理が最も信頼性の高いアプローチです。 Acrobat Pro で、PDF 編集ツールを使用して回転されたコンテンツ領域を選択し、正しい水平方向に回転して、ページ上に適切に配置します。内回転を修正した後、修正したページで OCR を実行します。手動の前処理ステップには影響を受けるページごとに約 1 分かかりますが、クリーンで正確な OCR 出力が生成されます。
内部回転のあるページを識別するには、目視検査が必要です。文書に目を通し、テキストがページの端に対して予期しない方向に走っているように見えるページを探します。内部回転のあるページはほとんどのドキュメント コレクションでは比較的まれですが、発生すると OCR の品質に過度の影響を与えます。
混在方向のドキュメントに適した OCR エンジンの選択
さまざまな OCR エンジンがさまざまな精度で方向検出を処理します。デスキュー プリプロセッサを備えた Tesseract は適度な回転を適切に処理しますが、正確に 90 度または 180 度回転されたページでは問題が発生する可能性があります。 Google Cloud Vision OCR には、すべての回転角度を確実に処理する向き検出が組み込まれています。精度が重要な重要な混合方向ドキュメントの場合、クラウドベースの OCR サービスは通常、方向の処理においてローカル エンジンよりも優れたパフォーマンスを発揮します。
大規模なバッチをコミットする前に、混合方向のページの小さなサンプルで、選択した OCR エンジンをテストします。既知の方向パターンを使用した 10 ページのテストにより、エンジンがドキュメント内の特定の回転タイプをどのように処理するかが明らかになります。テストには数分かかりますが、エンジンの向きの検出が特定のドキュメントの種類に対して不適切であることが判明した場合に、何時間もかかる再処理を回避できます。
検証のために混合方向のドキュメントから OCR テキストをエクスポート
OCR 処理後、認識されたテキストをエクスポートして、すべてのページの完全性を確認します。 Acrobat Pro で、「ツール」、「PDF の書き出し」に移動し、出力形式として「テキスト」を選択します。エクスポートされたテキスト ファイルには、すべてのページのコンテンツが正しい読み取り順序で含まれている必要があります。テキスト ファイルを開き、特定のランドスケープ ページに表示される既知の用語を検索します。これらの用語がエクスポートに含まれていない場合、それらのページは OCR 中に方向が間違っていた可能性があるため、再処理が必要です。
ドキュメントの処理に関しては、検索可能なアーカイブ向けのドキュメントの場合、エクスポートされたテキストは、すべてのページがそのコンテンツを検索可能なレイヤーに提供していることを独立した検証として機能します。テキスト エクスポートにギャップや欠落セクションがある場合は、OCR エラーが発生していることを示しており、ドキュメントを永久アーカイブに入れる前に注意が必要です。エクスポート手順は、向きに関連する OCR の問題が永続的なアーカイブ欠陥になる前に検出する品質ゲートとして機能します。
