문서 검토, e-Discovery 및 계약 통합에서는 겹치는 내용을 공유하는 두 개의 PDF를 병합하는 것이 일반적입니다. 공급업체는 원본에서 변경되지 않은 세 페이지와 새 페이지 두 개가 포함된 수정된 제안서를 보냅니다. 두 버전을 병합하면 변경되지 않은 세 페이지가 두 번 나타납니다. 수백 페이지에 달하는 병합에서 중복 항목을 수동으로 식별하고 삭제하는 것은 지루하고 오류가 발생하기 쉽습니다. 병합 중이나 병합 후에 중복 페이지를 자동으로 감지하고 제거할 수 있는 도구는 수동 비교에 소요되는 시간을 절약해 줍니다.
자동화된 중복 제거는 골치 아픈 일을 체크박스로 바꿔줍니다.
중복 감지 기능이 내장된 스마트 Merge PDF 워크플로는 병합된 출력을 생성하기 전에 모든 소스 문서의 각 페이지 내용을 비교합니다. 두 페이지가 일치하면 도구는 하나의 복사본을 유지하고 복사본을 삭제합니다. PDF 페이지 중복 제거 검사와 결합된 WukongPDF의 병합 도구는 가장 일반적인 시나리오를 처리합니다. 즉, 여러 버전의 문서를 결합하고 각 페이지가 정확히 한 번 나타나는 깨끗한 최종 버전을 생성합니다.
병합 후 PDF가 중복 페이지로 끝나는 이유
개정 주기는 가장 많은 중복을 생성합니다. 계약서는 5번의 수정 과정을 거칩니다. 각 라운드마다 새로운 PDF가 생성됩니다. 누군가가 다섯 가지 버전을 모두 병합하여 문서 흔적을 보관하면 이제 수신자는 변경된 내용을 찾기 위해 거의 동일한 다섯 개의 문서를 읽어야 합니다. 월별 보고서 병합은 각 월의 파일에서 동일한 표지와 상용구를 추가합니다. 발견 문서 조합은 여러 당사자가 생성한 동일한 증거물을 복제합니다. 스캔 배치는 서로 다른 스캔 세션에서 동일한 페이지를 두 번 캡처합니다. 각 시나리오는 고유한 패턴으로 중복 페이지를 생성합니다.
볼륨이 빠르게 추가됩니다. 모든 파일에 동일한 표지와 면책 조항이 포함된 500페이지 분량의 월별 보고서 병합에는 60개 이상의 중복 페이지가 포함될 수 있습니다. 축소판을 스크롤하여 수동으로 찾는 것은 현실적이지 않습니다. 자동화된 탐지는 해당 규모에서 유일한 실용적인 옵션이 됩니다. 파일 크기의 이점도 있습니다. 500페이지 문서에서 60개의 중복 페이지를 제거하면 파일이 10~15% 줄어들 수 있습니다. 이는 병합된 파일이 이메일 서버 필터 또는 크기 제한이 있는 업로드 포털을 통과해야 하는 경우에 중요합니다.
콘텐츠 해싱을 사용하여 정확한 중복 페이지 감지
콘텐츠 해싱은 가장 안정적인 정확한 일치 검색을 제공합니다. 이 도구는 각 페이지를 표준 해상도(일반적으로 150-200 DPI)의 픽셀 맵으로 렌더링하고 픽셀 데이터의 암호화 해시를 계산하고 모든 페이지의 해시를 비교합니다. 동일한 픽셀은 동일한 해시를 생성합니다. 해시를 공유하는 페이지는 정확한 시각적 중복이며 단일 복사본으로 안전하게 축소될 수 있습니다. 해시가 일치하면 거짓 긍정이 발생하지 않으며 페이지는 픽셀 수준에서 실제로 동일합니다.
이 방법은 소스 파일, 제작자 또는 생성 날짜에서 정확한 중복을 포착합니다. 문제는 아주 작은 시각적 차이라도 다른 해시를 생성한다는 것입니다. 헤더의 다른 날짜, Bates 번호 스탬프 또는 약간 다른 스캔 왜곡으로 인해 일치가 중단됩니다. 거의 중복된 경우에는 지각 방법이 필요합니다. 그러나 문자 그대로 동일한 페이지가 두 번 포함되는 일반적인 경우에는 해싱이 빠르고 결정적이며 완벽하게 정확합니다.
콘텐츠 해싱이 누락된 거의 중복된 페이지 처리
거의 중복된 페이지는 대부분의 콘텐츠를 공유하지만 작은 세부 사항이 다릅니다. 어제 날짜와 오늘 날짜가 표시된 계약 페이지 또는 두 세션에서 약간 다른 각도로 캡처된 스캔 페이지는 해시 일치하지 않습니다. 지각적 해싱 및 구조적 유사성 비교는 정확한 픽셀이 아닌 전반적인 시각적 패턴을 비교하여 비트가 다르더라도 사람에게 동일하게 보이는 페이지를 포착함으로써 이를 처리합니다.
퍼지 매칭 임계값을 사용하면 감도를 조정할 수 있습니다. 95% 유사성 임계값은 대부분의 거의 중복된 항목을 포착하는 동시에 다른 데이터로 채워진 양식 템플릿 페이지에서 잘못된 일치를 방지합니다. 더 높은 임계값은 사소한 날짜 또는 버전 조정으로 거의 중복된 항목이 거의 항상 실제 복제본인 계약 병합에 적합합니다. 임계값이 낮으면 템플릿을 공유하지만 다른 정보를 포함하는 양식 인스턴스가 잘못 병합되는 것을 방지할 수 있습니다. 전체 배치를 실행하기 전에 작은 샘플에서 임계값을 테스트합니다. 5분의 임계값 교정으로 수 시간 동안 수동으로 오탐지를 검토해야 하는 시간이 줄어듭니다.
| 탐지 방법 | 잡는 것 | 그것이 놓친 것 |
|---|---|---|
| 정확한 픽셀 해시(MD5/SHA) | 모든 소스의 동일한 시각적 페이지 | 사소한 차이가 있는 거의 중복됨 |
| 지각 해시(pHash) | 유사한 시각적 레이아웃을 가진 페이지 | 레이아웃은 다르지만 내용은 동일한 페이지 |
| 텍스트 추출 + 텍스트 해시 | 동일한 텍스트 내용이 포함된 페이지 | 텍스트 레이어가 없는 스캔된 페이지 |
| 구조 비교(페이지 개체) | 동일한 내부 개체를 공유하는 페이지 | 다양한 PDF 제작자의 페이지 |
병합 중 및 병합 후 중복 제거 적용
처리 중 중복 제거가 사후 처리보다 뛰어납니다. 이 도구는 들어오는 각 페이지를 메모리에 이미 병합된 페이지와 비교하고 즉시 중복을 건너뛰어 두 번째 패스가 필요 없는 깨끗한 파일을 직접 생성합니다. 데스크탑 PDF 도구와 일부 브라우저 기반 플랫폼은 결합 작업 중에 이를 제공합니다. 병합과 중복 제거는 한 단계로 이루어지므로 먼저 병합하고 두 번째로 중복을 제거하는 것에 비해 총 처리 시간이 절반으로 단축됩니다.
병합 후 중복 제거는 병합 도구에서 감지 기능이 부족하거나 중복 항목이 가득한 이미 병합된 파일을 받은 경우를 처리합니다. 파일에 대해 중복 검사를 실행하고 플래그가 지정된 페이지를 검토한 후 각 페이지를 삭제하거나 보관합니다. 병합 후 접근 방식은 감사 추적도 유지합니다. 즉, 어떤 페이지가 중복으로 식별되었는지 정확히 확인하고 각 페이지에 대해 신중한 결정을 내릴 수 있습니다. 모든 페이지 제거에 문서가 필요한 법률 및 규정 준수 작업 흐름의 경우 이러한 가시성은 필수적이며 사례 프로토콜에서 필요할 수도 있습니다.
중복 제거된 출력 확인
출력을 스크롤하여 고유한 페이지가 남아 있는지 확인합니다. 동일한 템플릿에 서로 다른 데이터가 포함된 양식이 가장 위험도가 높은 범주입니다. 버전 관련 변경 사항이 클러스터된 문서 끝부분의 페이지도 추가 조사가 필요합니다. 고유한 페이지를 제거하는 거짓 긍정은 복사본을 그대로 두는 거짓 부정보다 더 큰 해를 끼칩니다. 확인 후 정리된 파일을 중복 제거 전 버전과 명확하게 구별되는 이름으로 저장합니다. 두 가지를 혼동하면 근무 시간이 지워집니다.
법적으로 중요한 병합에는 제거된 중복 항목에 대한 감사 로그(제거된 페이지, 일치한 페이지 및 이유)가 필요합니다. 로그에는 형식이 필요하지 않으며 간단한 번호가 매겨진 목록이면 대부분의 목적에 충분합니다. e-Discovery의 경우 문서 제거 로그는 훼손 제안을 피하기 위해 사례의 프로토콜을 따라야 합니다. 그러나 중복 제거는 적절하게 문서화될 경우 문서 생성 작업 흐름의 표준이자 허용되는 부분입니다.