Łączenie dwóch plików PDF o nakładającej się zawartości jest powszechne podczas przeglądania dokumentów, wykrywania elektronicznego i konsolidacji umów. Dostawca wysyła poprawioną ofertę zawierającą trzy strony niezmienione w stosunku do oryginału oraz dwie nowe strony. Kiedy połączysz obie wersje, te trzy niezmienione strony pojawią się dwukrotnie. Ręczne identyfikowanie i usuwanie duplikatów w przypadku scalania kilkuset stron jest żmudne i podatne na błędy. Narzędzia, które mogą automatycznie wykrywać i usuwać zduplikowane strony w trakcie lub po łączeniu, oszczędzają godziny ręcznego porównywania.
Zautomatyzowana deduplikacja zamienia ból głowy w pole wyboru.
Inteligentny przepływ pracy Scal PDF z wbudowanym wykrywaniem duplikatów porównuje zawartość każdej strony we wszystkich dokumentach źródłowych przed utworzeniem połączonego wyniku. Gdy dwie strony pasują do siebie, narzędzie zatrzymuje jedną kopię i odrzuca duplikat. Narzędzie do łączenia WukongPDF w połączeniu z kontrolą deduplikacji Stron PDF radzi sobie z najczęstszym scenariuszem: łączeniem wielu wersji dokumentu i tworzeniem czystej wersji końcowej, w której każda strona pojawia się dokładnie raz.
Jak w plikach PDF po połączeniu pojawiają się zduplikowane strony
Cykle rewizyjne generują najwięcej duplikatów. Umowa przechodzi pięć rund zmian. Każda runda tworzy nowy plik PDF. Ktoś łączy wszystkie pięć wersji, aby zarchiwizować ślad papierowy, a teraz odbiorca musi przeczytać pięć niemal identycznych dokumentów, aby znaleźć, co się zmieniło. Raporty miesięczne łączą się, dodając identyczne strony tytułowe i szablony z pliku każdego miesiąca. Kombinacje dokumentów odkrycia powielają ten sam eksponat wyprodukowany przez wiele stron. Partie skanowania obejmują tę samą stronę dwukrotnie w różnych sesjach skanowania. Każdy scenariusz generuje zduplikowane strony według własnego wzorca.
Objętość szybko rośnie. 500-stronicowe połączenie miesięcznych raportów z identycznymi okładkami i zastrzeżeniami w każdym pliku może zawierać 60 lub więcej zduplikowanych stron. Przewijanie miniatur w celu ich ręcznego znalezienia nie jest realistyczne. Automatyczne wykrywanie staje się jedyną praktyczną opcją na tę skalę. Rozmiar pliku również przynosi korzyści: usunięcie 60 zbędnych stron z 500-stronicowego dokumentu może zmniejszyć plik o 10–15%, co ma znaczenie, gdy scalony plik musi przejść przez filtr serwera poczty e-mail lub portal przesyłania z ograniczeniem rozmiaru.
Spróbuj scalić pliki PDF
Nie wymaga instalacji. Działa bezpośrednio w Twojej przeglądarce.
Korzystanie z funkcji mieszania treści w celu wykrycia dokładnie zduplikowanych stron
Mieszanie treści zapewnia najbardziej niezawodne wykrywanie dokładnego dopasowania. Narzędzie renderuje każdą stronę na mapę pikseli w standardowej rozdzielczości, zwykle 150–200 DPI, oblicza kryptograficzny skrót danych pikseli i porównuje skróty na wszystkich stronach. Identyczne piksele dają identyczne skróty. Strony udostępniające skrót są dokładnymi duplikatami wizualnymi i można je bezpiecznie zwinąć do pojedynczej kopii. Brak fałszywych alarmów, gdy skrót jest zgodny, strony są naprawdę identyczne na poziomie pikseli.
Ta metoda wychwytuje dokładne duplikaty z dowolnego pliku źródłowego, producenta lub daty utworzenia. Problem polega na tym, że nawet drobne różnice wizualne dają różne skróty. Inna data w nagłówku, stempel z numerem Batesa lub nieco zmienione przekrzywienie skanu powodują zgodność. W przypadku niemal duplikatów potrzebne są metody percepcyjne. Jednak w typowym przypadku dosłownie identycznych stron zawartych dwukrotnie, haszowanie jest szybkie, deterministyczne i doskonale dokładne.
Obsługa prawie zduplikowanych stron, które zawierają błędy hashowania
Strony prawie zduplikowane mają wspólną większość treści, ale różnią się drobnymi szczegółami. Strona kontraktu z datą wczorajszą i dzisiejszą lub zeskanowana strona przechwycona pod nieco innym kątem w dwóch sesjach nie będzie odpowiadać haszowaniu. Percepcyjne mieszanie i porównywanie podobieństw strukturalnych radzą sobie z nimi, porównując ogólne wzorce wizualne, a nie dokładne piksele, wychwytując strony, które dla człowieka wyglądają tak samo, mimo że różnią się bitami.
Rozmyte progi dopasowania umożliwiają dostrojenie czułości. Próg podobieństwa wynoszący 95% wychwytuje większość niemal duplikatów, unikając jednocześnie fałszywych dopasowań na stronach szablonów formularzy wypełnionych różnymi danymi. Wyższe progi są odpowiednie dla łączenia umów, w przypadku których prawie duplikaty są prawie zawsze prawdziwymi duplikatami z niewielkimi poprawkami daty lub wersji. Niższe progi zapobiegają nieprawidłowemu łączeniu instancji formularzy, które mają ten sam szablon, ale zawierają różne informacje. Przed uruchomieniem pełnej partii należy przetestować próg na małej próbce. Pięć minut kalibracji progowej pozwala uniknąć wielogodzinnych ręcznych testów fałszywie pozytywnych.
| Metoda wykrywania | Co łapie | Czego brakuje |
|---|---|---|
| Dokładny skrót pikseli (MD5/SHA) | Identyczne strony wizualne z dowolnego źródła | Prawie duplikaty z niewielkimi różnicami |
| Percepcyjny skrót (pHash) | Strony o podobnym układzie wizualnym | Strony o różnych układach, ale tej samej treści |
| Ekstrakcja tekstu + skrót tekstu | Strony o identycznej zawartości tekstowej | Zeskanowane strony pozbawione warstwy tekstowej |
| Porównanie struktury (obiekty strony) | Strony korzystające z tych samych obiektów wewnętrznych | Strony różnych producentów plików PDF |
Zastosowanie usuwania duplikatów podczas lub po połączeniu
Deduplikacja w trakcie procesu przewyższa przetwarzanie końcowe. Narzędzie porównuje każdą przychodzącą stronę z już połączonymi stronami w pamięci i pomija duplikaty na bieżąco, tworząc czysty plik bezpośrednio, bez konieczności drugiego przebiegu. Desktopowe narzędzia PDF i niektóre platformy oparte na przeglądarkach oferują tę opcję podczas operacji łączenia. Scalanie i deduplikacja odbywają się w jednym kroku, co skraca całkowity czas przetwarzania o połowę w porównaniu z pierwszym łączeniem i deduplikacją w drugiej kolejności.
Deduplikacja po scalaniu obsługuje przypadki, w których narzędzie scalania nie zostało wykryte lub gdy otrzymano już scalony plik pełen duplikatów. Uruchom skanowanie duplikatów pliku, przejrzyj oznaczone strony i usuń lub zachowaj każdą z nich. Podejście po połączeniu zachowuje również ścieżkę audytu: dokładnie widzisz, które strony zostały zidentyfikowane jako duplikaty, i podejmujesz świadome decyzje w sprawie każdej z nich. W przypadku procesów prawnych i związanych ze zgodnością, gdzie usunięcie każdej strony wymaga dokumentacji, ta widoczność jest niezbędna, a nawet może być wymagana w protokole sprawy.
Weryfikacja zdeduplikowanych wyników
Przewiń wyniki, aby potwierdzić, że unikalne strony przetrwały. Formularze, w których identyczne szablony zawierają różne dane, stanowią kategorię najwyższego ryzyka. Strony znajdujące się na końcu dokumentu, na których skupiają się zmiany związane z wersją, również zasługują na dodatkową analizę. Fałszywy pozytywny, który usuwa unikalną stronę, wyrządza więcej szkód niż fałszywy negatywny, który pozostawia duplikat na miejscu. Po weryfikacji zapisz oczyszczony plik pod nazwą wyraźnie odróżniającą go od wersji sprzed deduplikacji. Pomieszanie tych dwóch elementów wymazuje godziny pracy.
Połączenia istotne z prawnego punktu widzenia wymagają dziennika kontroli usuniętych duplikatów: które strony zostały usunięte, które strony zostały dopasowane i dlaczego. Dziennik nie wymaga formalności, do większości celów wystarczy prosta lista numerowana. W przypadku e-discovery dzienniki usuwania dokumentów powinny być zgodne z protokołem danej sprawy, aby uniknąć jakichkolwiek sugestii kradzieży, chociaż deduplikacja jest standardową i akceptowaną częścią procesów tworzenia dokumentów, jeśli jest odpowiednio udokumentowana.
Spróbuj scalić pliki PDF
Nie wymaga instalacji. Działa bezpośrednio w Twojej przeglądarce.