合併兩個共享重疊內容的 PDF 在文件審閱、電子取證和合約合併中很常見。供應商發送了一份修訂後的提案，其中包括與原始版本相同的三頁，以及兩頁新頁面。當您合併兩個版本時，這三個未更改的頁面會出現兩次。在數百頁合併中手動識別和刪除重複項是乏味且容易出錯的。可以在合併期間或之後自動偵測和刪除重複頁面的工具可以節省手動比較的時間。
自動重複資料刪除將一個令人頭痛的問題變成了一個複選框。
具有內建重複偵測功能的智慧型合併 PDF工作流程會在產生合併輸出之前比較所有來源文件中每個頁面的內容。當兩個頁面相符時，該工具會保留一份副本並丟棄重複的副本。 WukongPDF 的合併工具與PDF 頁面 重複資料刪除檢查相結合，可處理最常見的情況：組合文件的多個版本並產生乾淨的最終版本，每個頁面只出現一次。
PDF 合併後如何出現重複頁面
修訂週期產生最多的重複項。一份合約要經過五輪編輯。每輪都會產生一個新的 PDF。有人合併了所有五個版本以存檔書面記錄，現在接收者必須通讀五個幾乎相同的文件才能找到更改的內容。每月報告合併從每個月的文件中添加相同的封面頁和樣板。發現文件組合複製了多方製作的同一展覽。掃描批次在不同的掃描工作階段中兩次擷取同一頁面。每個場景都會以其自己的模式產生重複的頁面。
音量增加得很快。每個文件中具有相同封面和免責聲明的 500 頁月度報告合併可能會包含 60 個或更多重複頁面。手動滾動縮圖來查找它們是不現實的。自動檢測成為該規模的唯一實用選擇。文件大小也有好處：從 500 頁文件中刪除 60 個冗餘頁面可以將文件縮小 10-15%，當合併的文件必須透過電子郵件伺服器過濾器或具有大小上限的上傳入口網站時，這一點很重要。
使用內容雜湊來偵測精確的重複頁面
內容哈希提供最可靠的精確匹配檢測。該工具以標準解析度（通常為 150-200 DPI）將每個頁面渲染為像素圖，計算像素資料的加密雜湊值，並比較所有頁面的雜湊值。相同的像素產生相同的雜湊值。共享雜湊的頁面是精確的視覺重複，可以安全地折疊為單一副本。當雜湊匹配時不會出現誤報，頁面在像素層級上確實相同。
此方法從任何來源檔案、製作者或建立日期捕獲精確的重複項。問題是，即使是微小的視覺差異也會產生不同的雜湊值。標題中的不同日期、貝茨編號標記或略有不同的掃描傾斜都會破壞匹配。對於那些接近重複的，需要感知方法。但對於包含兩次完全相同的頁面的常見情況，雜湊是快速、確定且完全準確的。
處理內容雜湊遺漏的近似重複頁面
近似重複的頁面共享大部分內容，但在小細節上有所不同。昨天日期與今天日期的合約頁面，或在兩個會話中以稍微不同的角度捕獲的掃描頁面，將不會進行哈希匹配。感知雜湊和結構相似性比較透過比較整體視覺模式而不是精確像素來處理這些問題，捕捉對人類來說看起來相同的頁面，即使位元不同。
模糊匹配閾值可讓您調整靈敏度。 95% 相似度的閾值可擷取最接近的重複項，同時避免填入不同資料的表單範本頁面上的錯誤匹配。較高的閾值適合合約合併，其中接近重複的內容幾乎總是真正的重複內容，並進行了較小的日期或版本調整。較低的閾值可防止錯誤地合併共用範本但包含不同資訊的表單實例。在運行整個批次之前測試小樣本的閾值。五分鐘的閾值校準可防止數小時的手動誤報檢查。
| 檢測方法 | 它抓住了什麼 | 它錯過了什麼 |
|---|---|---|
| 精確的像素哈希 (MD5/SHA) | 來自任何來源的相同視覺頁面 | 近似重複但有細微差別 |
| 感知哈希（pHash） | 具有相似視覺佈局的頁面 | 版面不同但內容相同的頁面 |
| 文字提取+文字哈希 | 具有相同文字內容的頁面 | 掃描頁面缺少文字層 |
| 結構比較（頁面物件） | 共享相同內部物件的頁面 | 來自不同 PDF 製作者的頁面 |
合併期間與合併後應用重複刪除
進程內重複資料刪除勝過後處理。該工具將每個傳入頁面與記憶體中已合併的頁面進行比較，並動態跳過重複項，直接產生乾淨的文件，無需第二次傳遞。桌面 PDF 工具和一些基於瀏覽器的平台在其合併操作期間提供此功能。合併和重複資料刪除一步完成，與先合併再重複資料刪除相比，總處理時間減少了一半。
合併後重複資料刪除可處理合併工具缺乏偵測或您收到的已合併檔案充滿重複項的情況。對檔案執行重複掃描，查看標記的頁面，然後刪除或保留每一頁。合併後方法還保留了審核追蹤：您可以準確地看到哪些頁面被識別為重複項，並對每個頁面做出深思熟慮的決定。對於法律和合規工作流程，每個頁面刪除都需要文檔，這種可見性至關重要，甚至可能是案例協議所需的。
驗證重複資料刪除輸出
滾動瀏覽輸出以確認唯一的頁面倖存下來。相同範本包含不同資料的表單是風險最高的類別。文件末尾附近的頁面（其中聚集了與版本相關的更改）也值得額外審查。刪除唯一頁面的誤報比留下重複頁面的誤報危害更大。驗證後，將清理後的檔案保存在與重複資料刪除前的版本明顯區分的名稱下。混淆兩者會抹去工作時間。
具有法律意義的合併值得刪除重複項的審核日誌：刪除了哪些頁面、符合了哪些頁面以及原因。日誌不需要正式，簡單的編號清單就足以滿足大多數目的。對於電子取證，文件刪除日誌應遵循案件的協議，以避免任何破壞的建議，儘管在正確記錄的情況下，重複資料刪除是文件生產工作流程的標準和可接受的部分。