Объединение двух PDF-файлов с общим перекрывающимся содержимым часто встречается при проверке документов, обнаружении электронных документов и консолидации контрактов. Поставщик отправляет пересмотренное предложение, которое включает три страницы, не измененные по сравнению с оригиналом, плюс две новые страницы. Когда вы объединяете обе версии, эти три неизмененные страницы появляются дважды. Выявлять и удалять дубликаты вручную в многосотстраничном слиянии утомительно и подвержено ошибкам. Инструменты, которые могут автоматически обнаруживать и удалять дубликаты страниц во время или после слияния, экономят часы ручного сравнения.
Автоматизированная дедупликация превращает головную боль в флажок.
Интеллектуальный рабочий процесс Merge PDF со встроенным обнаружением дубликатов сравнивает содержимое каждой страницы во всех исходных документах перед созданием объединенного вывода. Если две страницы совпадают, инструмент сохраняет одну копию и удаляет дубликат. Инструмент слияния WukongPDF в сочетании с проверкой дедупликации PDF Pages обрабатывает наиболее распространенный сценарий: объединение нескольких версий документа и создание чистой окончательной версии, в которой каждая страница появляется ровно один раз.
Как в PDF-файлах после объединения появляются повторяющиеся страницы
Циклы редакций создают наибольшее количество дубликатов. Контракт проходит пять этапов редактирования. Каждый раунд создает новый PDF-файл. Кто-то объединяет все пять версий, чтобы заархивировать документальный след, и теперь получатель должен прочитать пять почти идентичных документов, чтобы найти, что изменилось. При объединении ежемесячных отчетов добавляются идентичные титульные страницы и шаблоны из файла каждого месяца. Комбинации документов обнаружения дублируют один и тот же экспонат, созданный несколькими сторонами. При пакетном сканировании одна и та же страница захватывается дважды в разных сеансах сканирования. Каждый сценарий создает дубликаты страниц по своему собственному шаблону.
Объем быстро увеличивается. Объединение ежемесячных отчетов объемом 500 страниц с одинаковыми обложками и заявлениями об отказе от ответственности в каждом файле может содержать 60 или более повторяющихся страниц. Пролистать миниатюры, чтобы найти их вручную, нереально. Автоматическое обнаружение становится единственным практическим вариантом в таком масштабе. Размер файла также имеет преимущества: удаление 60 лишних страниц из 500-страничного документа может уменьшить размер файла на 10–15 %, что имеет значение, когда объединенный файл должен пройти через фильтр сервера электронной почты или портал загрузки с ограничением размера.
Использование хеширования контента для обнаружения точных дубликатов страниц
Хеширование контента обеспечивает наиболее надежное обнаружение точного совпадения. Инструмент преобразует каждую страницу в карту пикселей со стандартным разрешением, обычно 150–200 точек на дюйм, вычисляет криптографический хеш данных пикселей и сравнивает хэши по всем страницам. Идентичные пиксели создают идентичные хэши. Страницы, имеющие общий хеш, являются точными визуальными дубликатами и могут быть безопасно свернуты в одну копию. Никаких ложных срабатываний при совпадении хеша, страницы действительно идентичны на уровне пикселей.
Этот метод обнаруживает точные дубликаты из любого исходного файла, производителя или даты создания. Загвоздка в том, что даже крошечные визуальные различия приводят к разным хэшам. Другая дата в заголовке, номерной штамп Бейтса или слегка измененный перекос сканирования — все это нарушает совпадение. Для этих почти дубликатов необходимы методы восприятия. Но для обычного случая, когда буквально идентичные страницы включены дважды, хеширование происходит быстро, детерминировано и совершенно точно.
Обработка почти повторяющихся страниц, которые не учитываются при хешировании контента
Почти дублирующиеся страницы имеют общий контент, но отличаются мелкими деталями. Страница контракта со вчерашней датой и сегодняшней датой или отсканированная страница, снятая под немного разным углом за два сеанса, не будут хэш-сопоставляться. Перцепционное хеширование и сравнение структурного сходства решают эти проблемы, сравнивая общие визуальные шаблоны, а не точные пиксели, выявляя страницы, которые кажутся человеку одинаковыми, даже если биты различаются.
Пороги нечеткого соответствия позволяют настраивать чувствительность. Порог сходства в 95 % позволяет выявить большинство дубликатов, избегая при этом ложных совпадений на страницах шаблонов форм, заполненных разными данными. Более высокие пороговые значения подходят для слияний контрактов, где почти всегда дубликаты почти всегда являются настоящими дубликатами с небольшими изменениями даты или версии. Более низкие пороговые значения предотвращают неправильное объединение экземпляров форм, которые имеют общий шаблон, но содержат разную информацию. Проверьте пороговое значение на небольшой выборке, прежде чем запускать всю партию. Пять минут калибровки порогов предотвращают многочасовую ручную проверку ложноположительных результатов.
| Метод обнаружения | Что он ловит | Чего не хватает |
|---|---|---|
| Точный хэш пикселя (MD5/SHA) | Идентичные визуальные страницы из любого источника | Почти дубликаты с небольшими различиями |
| Перцептивный хеш (pHash) | Страницы с похожим визуальным макетом | Страницы с разным макетом, но одинаковым содержанием |
| Извлечение текста + хэш текста | Страницы с идентичным текстовым содержанием | Отсканированные страницы без текстового слоя |
| Сравнение структур (объекты страниц) | Страницы, использующие одни и те же внутренние объекты | Страницы от разных производителей PDF |
Применение удаления дубликатов во время и после слияния
Дедупликация в процессе обработки превосходит постобработку. Инструмент сравнивает каждую входящую страницу с уже объединенными страницами в памяти и пропускает дубликаты на лету, создавая чистый файл напрямую, без необходимости второго прохода. Настольные PDF-инструменты и некоторые браузерные платформы предлагают эту возможность во время работы Объединения. Слияние и дедупликация выполняются за один этап, что вдвое сокращает общее время обработки по сравнению с первым объединением и последующей дедупликацией.
Дедупликация после слияния обрабатывает случаи, когда инструмент слияния не смог обнаружить или когда вы получили уже объединенный файл, наполненный дубликатами. Запустите дубликат сканирования файла, просмотрите помеченные страницы и удалите или сохраните каждую из них. Подход после слияния также сохраняет контрольный журнал: вы точно видите, какие страницы были идентифицированы как дубликаты, и принимаете взвешенные решения по каждой из них. Для юридических и нормативных рабочих процессов, где каждое удаление страницы требует документирования, эта видимость важна и может даже потребоваться протоколом дела.
Проверка дедуплицированного вывода
Прокрутите выходные данные, чтобы убедиться, что уникальные страницы сохранились. Формы, в которых одинаковые шаблоны содержат разные данные, относятся к категории наибольшего риска. Страницы в конце документа, где собраны изменения, связанные с версией, также заслуживают особого внимания. Ложное срабатывание, удаляющее уникальную страницу, приносит больше вреда, чем ложное отрицание, оставляющее дубликат на месте. После проверки сохраните очищенный файл под именем, которое четко отличает его от предварительно дедупированной версии. Путаница этих двух вещей стирает часы работы.
Юридически значимые слияния заслуживают журнала аудита удаленных дубликатов: какие страницы были удалены, каким страницам они соответствуют и почему. Журнал не требует формальности, для большинства целей достаточно простого нумерованного списка. При обнаружении электронных данных журналы удаления документов должны соответствовать протоколу дела, чтобы избежать любых предположений о порче, хотя дедупликация является стандартной и общепринятой частью рабочих процессов создания документов, если они надлежащим образом документированы.