多言語 PDF には、英語、フランス語、ドイツ語のページが含まれています。交互のページに 3 か国語で説明が記載された製品マニュアル。英語の本文とフランス語の要約からなる学術論文。ある言語の原文と他の言語の認定翻訳を含む法的文書。単一の言語設定でこのドキュメントに対して OCR を実行すると、その言語のページでは正確なテキストが生成されますが、他のページでは文字化けした出力が生成されます。フランス語のアクセント文字はランダムな記号になります。ドイツ語のウムラウトが消えます。 OCR エンジンは、英語のレンズを通してすべての文字を解釈しようとしますが、適合しないものは解釈できません。
複数の言語をサポートする OCR ツールは、各ページまたはテキスト ブロックの言語を検出し、適切な文字認識モデルを適用することで、多言語 PDF を正しく処理できます。多言語 OCR ワークフローでは、文字認識の前に言語検出ステップが追加され、複数の言語を含むドキュメントの精度が大幅に向上します。
Unicode Consortium によると、複数の言語を含む文書は国際機関のすべてのビジネス PDF の約 18% を占めており、グローバルなコラボレーションが増加するにつれてその割合は増加しています (Unicode Consortium、「Multilingual Document Survey」、2024 年)。
多言語 OCR の言語検出方法
| メソッド | 仕組み | 精度 | 最適な用途 |
|---|---|---|---|
| ページごとの自動検出 | OCR エンジンは各ページの文字パターンを分析し、最も可能性の高い言語モデルを選択します。 | 個別の言語の場合は高くなります。スペイン語やポルトガル語などの密接に関連した言語には中程度 | 対訳など、各ページが単一言語で書かれた文書 |
| マニュアル言語仕様 | ユーザーは文書にどの言語をどのページに表示するかを指定します | ユーザーが言語とその場所を知っている場合に最も高くなります | セクション別マニュアルなど、言語分布がわかっている文書 |
| テキストブロックごとに自動検出 | OCR エンジンは段落またはテキストブロックレベルで言語を検出し、ページの途中でモデルを切り替えます | 中程度から高程度。明確に分離されたブロックに適しています。言語が混在した文章に苦労する | バイリンガル形式など、同じページに複数の言語が挟まれている文書 |
| 複数モデルの並列処理 | OCR は、複数の言語モデルを通じて同じページを実行し、テキスト領域ごとに最適な結果を選択します。 | 混合言語コンテンツの場合は最高です。計算負荷が高い。処理が遅い | 国際通信など、予測できない言語が混在する文書 |
ブラウザベースのツールでの多言語 OCR の構成
複数の言語をサポートするブラウザベースの OCR ツールに PDF をアップロードします。ツールに自動検出言語設定が用意されている場合は、それを有効にします。ツールで手動で言語を選択する必要がある場合は、ドキュメントに表示されるすべての言語を選択します。このツールは、最も適切な言語モデルを使用して各ページまたはテキスト ブロックを処理します。 OCR 後、フランス語のアクセント文字やドイツ語のウムラウトなど、言語固有の文字を含む単語を検索して出力を確認します。検索で単語が正しく見つかった場合、OCR エンジンはその言語を認識したことになります。
WukongPDF OCR ツールは複数の言語処理をサポートします。 OCR PDF エンジンは、構成時に指定された言語のテキストを検出および認識します。出力テキスト レイヤーは、元の多言語コンテンツを保持します。
多言語 OCR 精度の検証
ドキュメント内の各言語の OCR 出力をスポットチェックします。言語固有の文字や一般的な単語を検索します。各言語のサンプル段落を元のスキャンと比較します。 OCR エンジンが認識するように構成されていない文字や発音区別符号が第 2 言語で使用されている場合、ある言語では正確に OCR が実行される多言語ドキュメントでも、別の言語では OCR が適切に行われない可能性があります。多言語ドキュメントのTranslate PDF パイプラインでは、翻訳前にすべての言語で正確な OCR が必要です。
混合アルファベットとスクリプトの処理
英語とアラビア語、英語と中国語、英語とロシア語など、異なる書記体系を使用する言語を含むドキュメントには、特定のスクリプトをサポートする OCR エンジンが必要です。ラテン文字用に最適化されたエンジンは、アラビア文字や中国語の文字では完全に失敗します。処理する前に、OCR ツールがドキュメント内に表示されるすべてのスクリプトをサポートしていることを確認してください。ラテン語、キリル文字、アラビア語をサポートするツールでも、中国語、日本語、韓国語はサポートされない場合があります。スクリプトのサポートはドキュメントの内容と一致する必要があります。
マルチスクリプト ドキュメントのスキャン PDF の課題は、必要なスクリプトをすべて処理する OCR エンジンを見つけることです。珍しいスクリプトの組み合わせを含むドキュメントの場合は、スクリプトごとにドキュメントを分割し、専用の OCR エンジンで各セクションを処理すると、すべてに単一のエンジンを使用するよりも良い結果が得られる場合があります。
言語固有の検索語を使用した OCR 出力のテスト
多言語 OCR を実行した後、言語固有の用語を検索して各言語の出力を確認します。フランス語でアクセントのある単語を検索します。ドイツ語でウムラウトを含む単語を検索します。言語固有の文字の組み合わせを検索します。検索で用語が正しく見つかった場合、OCR エンジンは言語を認識したことになります。検索で結果が返されないか、文字化けしたテキストが返された場合、エンジンは正しい言語モデルを適用していません。
検索ベースの検証は、ドキュメント全体を読むよりも速く、言語検出の失敗をすぐに検出します。英語では正しく OCR 処理されるが、フランス語では失敗するドキュメントでは、英語の用語の検索結果が返されますが、フランス語の用語の検索結果は何も返されません。 OCR PDF 検証により、欠落した言語が特定されるため、正しい設定で再処理できます。
3 つ以上の言語を含むドキュメントの処理
8 つのヨーロッパ言語で説明が記載された製品マニュアルなど、ドキュメントに多くの言語が含まれている場合、各言語のテキストの量が少ないため、OCR エンジンは言語検出に苦労する可能性があります。特に言語が密接に関連している場合、一部の言語を確実に識別するのに十分なテキストがエンジンにない場合があります。このような場合、手動で言語を指定すると、自動検出よりも良い結果が得られます。
文書内に存在するすべての言語を特定します。 OCR ツールで手動による指定が必要な場合は、すべての言語をリストします。ツールが 1 次言語と 2 次言語をサポートしている場合は、最も一般的な言語を 1 次言語として設定し、その他の言語を 2 次言語として設定します。多くの言語を含む Scanned PDF は、自動言語検出の限界をテストします。マニュアル仕様では、小さなテキスト サンプルでは提供できない言語情報が提供されます。
アクセシビリティのための OCR 後の言語タグ付け
多言語 OCR を実行すると、文書には認識されたテキストが含まれますが、スクリーン リーダーに各パッセージがどの言語で使われているかを伝える言語メタデータが欠けている可能性があります。フランス語の言語タグのないフランス語テキストに遭遇したスクリーン リーダーは、英語の発音ルールを使用してそれを読み取ろうとし、理解できない出力が生成されます。 OCR 出力に言語タグを追加すると、テキスト読み上げテクノロジを利用するユーザーがドキュメントにアクセスできるようになります。
言語タグ付けは、一部の PDF アクセシビリティ ツールで利用できる OCR 後のステップです。各言語ブロックに正しい言語識別子をタグ付けします。スクリーン リーダーは、言語タグに遭遇すると、発音モデルを切り替えます。以前はアクセスできなかったスキャン PDF が、支援技術によって検索および読み取り可能になります。 WukongPDF OCR はテキスト レイヤーを提供します。言語タグを使用すると、テキスト レイヤーにアクセスできるようになります。