重複するコンテンツを共有する 2 つの PDF を結合することは、文書レビュー、電子情報開示、契約の統合において一般的です。ベンダーは、オリジナルから変更されていない 3 ページと新しい 2 ページを含む改訂提案を送信します。両方のバージョンをマージすると、これら 3 つの変更されていないページが 2 回表示されます。数百ページにわたる結合で重複を手動で特定して削除するのは面倒で、エラーが発生しやすくなります。マージ中またはマージ後に重複ページを自動的に検出して削除できるツールを使用すると、手動で比較する時間を節約できます。
自動重複排除により、悩みの種がチェックボックスに変わります。
重複検出が組み込まれたスマートな Merge PDF ワークフローは、マージされた出力を生成する前に、すべてのソース ドキュメントの各ページのコンテンツを比較します。 2 つのページが一致する場合、ツールは 1 つのコピーを保持し、重複したページを破棄します。 WukongPDF のマージ ツールと PDF ページ 重複排除チェックを組み合わせたものは、最も一般的なシナリオを処理します。つまり、ドキュメントの複数のバージョンを結合し、各ページが 1 回だけ表示されるクリーンな最終バージョンを生成します。
結合後に PDF が重複ページになる仕組み
改訂サイクルでは最も多くの重複が生成されます。契約は 5 回の編集を経ます。各ラウンドで新しい PDF が生成されます。誰かが 5 つのバージョンすべてをマージして紙の証跡をアーカイブすると、受信者は 5 つのほぼ同一の文書を読んで、何が変更されたのかを見つける必要があります。月次レポートの結合では、各月のファイルから同一の表紙と定型文が追加されます。発見文書の組み合わせは、複数の当事者によって作成された同じ展示物を複製します。スキャン バッチは、異なるスキャン セッションで同じページを 2 回キャプチャします。各シナリオでは、独自のパターンで重複ページが生成されます。
ボリュームはすぐに増えます。すべてのファイルに同じ表紙と免責事項が含まれる 500 ページの月次レポートを結合すると、60 ページ以上の重複ページが詰め込まれる可能性があります。サムネイルをスクロールして手動で見つけるのは現実的ではありません。その規模では自動検出が唯一の実用的なオプションになります。ファイル サイズにも利点があります。500 ページのドキュメントから 60 の冗長ページを削除すると、ファイルを 10 ～ 15% 縮小できます。これは、結合されたファイルが電子メール サーバー フィルターやサイズ制限のあるアップロード ポータルを通過する必要がある場合に重要です。
コンテンツ ハッシュを使用した完全な重複ページの検出
コンテンツ ハッシュは、最も信頼性の高い完全一致検出を提供します。このツールは、標準解像度 (通常は 150 ～ 200 DPI) で各ページをピクセル マップにレンダリングし、ピクセル データの暗号化ハッシュを計算し、すべてのページのハッシュを比較します。同一のピクセルは同一のハッシュを生成します。ハッシュを共有するページは視覚的に正確に複製されており、単一のコピーに安全に折りたたむことができます。ハッシュが一致する場合に誤検知はなく、ページはピクセル レベルで真に同一です。
このメソッドは、ソース ファイル、プロデューサー、または作成日から正確な重複を捕捉します。問題は、視覚的な小さな違いでも異なるハッシュが生成されるということです。ヘッダー内の異なる日付、ベイツ ナンバー スタンプ、またはわずかに異なるスキャン スキューはすべて、一致を破ります。それらのほぼ重複したものについては、知覚的な方法が必要です。ただし、文字通り同一のページが 2 回含まれる一般的なケースでは、ハッシュは高速で決定的であり、完全に正確です。
コンテンツのハッシュが失敗した重複に近いページの処理
ほぼ重複したページは、コンテンツの大部分を共有していますが、細部が異なります。昨日の日付と今日の日付が異なる契約ページ、または 2 つのセッションでわずかに異なる角度でキャプチャされたスキャンされたページは、ハッシュ一致しません。知覚的ハッシュと構造的類似性の比較は、正確なピクセルではなく全体的な視覚パターンを比較することでこれらを処理し、ビットが異なっていても人間の目には同じに見えるページを検出します。
ファジー マッチングしきい値を使用すると、感度を調整できます。類似性 95% のしきい値は、異なるデータが含まれるフォーム テンプレート ページでの誤った一致を回避しながら、ほとんどの重複を検出します。しきい値を高くすると、ほぼ重複したものがほとんどの場合、日付やバージョンが微調整された真の重複である契約のマージに適しています。しきい値を低くすると、テンプレートは共有しているが異なる情報を含むフォーム インスタンスが誤って結合されるのを防ぎます。完全なバッチを実行する前に、小さなサンプルでしきい値をテストします。 5 分間のしきい値キャリブレーションにより、何時間もかかる手動の誤検知レビューが防止されます。
| 検出方法 | 何が釣れるか | 欠けているもの |
|---|---|---|
| 正確なピクセル ハッシュ (MD5/SHA) | あらゆるソースからの同一のビジュアル ページ | わずかな違いはあるもののほぼ重複 |
| 知覚ハッシュ (pHash) | 同様のビジュアルレイアウトを持つページ | レイアウトは異なるがコンテンツは同じページ |
| テキスト抽出 + テキストハッシュ | 同一のテキストコンテンツを含むページ | スキャンしたページにテキストレイヤーがありません |
| 構造の比較 (ページオブジェクト) | 同じ内部オブジェクトを共有するページ | さまざまな PDF プロデューサーからのページ |
マージ中とマージ後の重複削除の適用
インプロセス重複排除は後処理に勝ります。このツールは、受信した各ページをメモリ内のすでにマージされたページと比較し、その場で重複をスキップし、2 回目のパスを必要とせずにクリーンなファイルを直接生成します。デスクトップ PDF ツールと一部のブラウザベースのプラットフォームは、結合操作中にこれを提供します。マージと重複排除は 1 つのステップで行われるため、最初にマージを行って 2 番目に重複排除を行う場合と比較して、合計処理時間が半分になります。
マージ後の重複排除は、マージ ツールが検出できなかった場合や、重複が多いマージ済みファイルを受け取った場合に対処します。ファイルに対して重複スキャンを実行し、フラグの付いたページを確認して、各ページを削除または保持します。マージ後のアプローチでは監査証跡も保存されます。どのページが重複として識別されたかを正確に確認し、それぞれについて慎重な決定を下すことができます。すべてのページの削除に文書化が必要となる法的およびコンプライアンスのワークフローでは、この可視性は不可欠であり、場合によっては訴訟プロトコルによっても要求される場合があります。
重複排除された出力の検証
出力をスクロールして、固有のページが残っていることを確認します。同一のテンプレートに異なるデータが含まれるフォームは、最もリスクの高いカテゴリです。バージョン関連の変更が集中している文書の終わり近くのページも、さらに精査する必要があります。一意のページを削除する誤検知は、重複を残す誤検知よりも害が大きくなります。検証後、クリーンアップされたファイルを、重複除去前のバージョンと明確に区別できる名前で保存します。この 2 つを混同すると、何時間もの作業時間が無駄になります。
法的に重要なマージには、削除された重複の監査ログ (どのページが削除されたか、どのページが削除されたか、およびその理由) が記録される必要があります。ログには形式的なものは必要なく、ほとんどの目的には単純な番号付きリストで十分です。電子情報開示の場合、文書削除ログは、改竄の示唆を避けるために事件のプロトコルに従う必要がありますが、重複排除は標準であり、適切に文書化されている場合には文書作成ワークフローの一部として受け入れられます。