300-страничный юридический документ содержит номера телефонов, адреса электронной почты и номера социального страхования, разбросанные по его страницам. На поиск и редактирование каждого из них вручную уйдет несколько дней, но некоторые из них все равно могут быть пропущены. Автоматическое редактирование на основе шаблонов ищет по всему документу текст, соответствующий определенным форматам, номерам телефонов, адресам электронной почты, номерам кредитных карт, и применяет редактирование к каждому совпадению за одну операцию. Вопрос не в том, возможно ли это, а в том, насколько это точно и какого контроля требует.
PDF Redaction на основе шаблонов использует регулярные выражения для идентификации текста, соответствующего предопределенным или пользовательским шаблонам. Шаблон телефонного номера соответствует таким последовательностям, как (555) 123-4567 или 555-123-4567. Шаблон электронной почты соответствует таким последовательностям, как name@domain.com. Шаблон номера социального страхования соответствует ###-##-####. Инструмент сканирует текстовый слой PDF, находит каждое совпадение и одновременно редактирует их.
Как работает редактирование на основе шаблонов
Инструмент редактирования сначала извлекает текст из потока содержимого PDF и ищет указанные шаблоны. При обнаружении совпадения инструмент записывает номер страницы и координаты соответствующего текста на этой странице. После завершения поиска по всем страницам инструмент применяет метки редактирования к каждому записанному месту, закрывая текст и удаляя его из текстового слоя.
Точность редактирования на основе шаблонов зависит от двух факторов: точности шаблона и качества текстового слоя PDF. Точный шаблон улавливает предполагаемый текст, избегая при этом ложных совпадений. Шаблон телефонного номера должен различать фактические телефонные номера и другие последовательности цифр, которые имеют одинаковую длину, например номера счетов, диапазоны дат или номера деталей.
Сопоставление с образцом позволяет обнаружить то, на что человеческим глазам потребовались бы часы.
Качество текстового слоя определяет, сможет ли шаблон вообще найти текст. Если PDF-файл был создан из отсканированного документа с помощью OCR, возможно, OCR неправильно распознал некоторые символы. Номер телефона, в котором цифра «5» была ошибочно распознана как «S», не будет соответствовать шаблону номера телефона. Инструмент редактирования не может редактировать то, что он не может найти, а ошибки оптического распознавания символов создают пробелы в обнаружении шаблонов.
Попробуйте Редактировать PDF
Никакой установки не требуется. Работает прямо в вашем браузере.
Распространенные закономерности и их подводные камни
Номера социального страхования являются наиболее часто редактируемым шаблоном и с наибольшей вероятностью приводят к ложным совпадениям. Последовательность из девяти цифр с дефисами в нужных местах может быть номером социального страхования, но также может быть кодом продукта, идентификатором документа или диапазоном дат, записанным в необычном формате. Редактирование на основе шаблонов не учитывает контекст. Оно соответствует образцу, а не смыслу.
Адреса электронной почты легче сопоставить, поскольку символ @ является отличительным и редко появляется за пределами адресов электронной почты. Однако адреса электронной почты, встроенные в PDF-файлы в виде ссылок mailto, а не видимого текста, могут не соответствовать текстовому поиску по шаблону. Инструмент редактирования ищет видимый текстовый слой, а не базовые аннотации ссылок.
Номера кредитных карт имеют определенный формат, 16 цифр, иногда сгруппированных по четыре, который проходит проверку алгоритма Луна. Инструменты редактирования на основе шаблонов, включающие проверку Луна, значительно сокращают число ложных совпадений, поскольку случайные 16-значные последовательности редко проходят проверку. Если ваш инструмент редактирования не включает проверку Луна, вручную проверьте совпадения кредитных карт, прежде чем применять редактирование.
Пользовательские шаблоны позволяют редактировать информацию, специфичную для организации. Формат идентификатора сотрудника, шаблон номера счета клиента или внутренний код проекта можно определить как пользовательское регулярное выражение. Преимущество PDF Security пользовательских шаблонов заключается в том, что они нацелены на информацию, которую обычные шаблоны пропускают, что делает редактирование более комплексным.
Проверка совпадений с шаблоном перед применением исправлений
Никогда не применяйте редактирование на основе шаблонов без предварительной проверки совпадений. На этапе проверки можно отменить выбор ложных совпадений и добавить пропущенные совпадения вручную. Шаблон, дающий 500 совпадений, может иметь 480 правильных совпадений и 20 ложных совпадений. 20 ложных совпадений, если они будут применены, приведут к неправильному редактированию текста, который должен оставаться видимым. Этап проверки предотвращает это.
Большинство инструментов редактирования отображают совпадения в виде выделенного текста на панели обзора. Прокрутите список совпадений и сверьте каждое из них с контекстом на странице. Отмените выбор совпадений, которые явно не являются целевой целью. Эта проверка вручную выполняется быстрее, чем поиск каждого экземпляра вручную, поскольку инструмент выполнил поиск, но это все равно важно для обеспечения точности.
После применения редактирования и сохранения документа проверьте редактирование, преобразовав PDF-файл в обычный текст и выполнив поиск отредактированных шаблонов в текстовом выводе. Если какой-либо из шаблонов присутствует в текстовом файле, редактирование не было завершено. Эта проверка после редактирования выявляет совпадения с шаблонами, которые были в текстовом слое, но не были успешно отредактированы.
Ограничения редактирования на основе шаблонов
Редактирование на основе шаблонов работает только с текстовыми PDF-файлами, где текст хранится в виде символов. Отсканированные PDF-файлы, которые не были обработаны с помощью оптического распознавания символов, сохраняют текст в виде изображений и не содержат символьных данных для поиска сопоставителем шаблонов. Прежде чем приступать к редактированию на основе шаблонов, запустите распознавание текста на отсканированных PDF-файлах, понимая, что ошибки распознавания приведут к тому, что некоторые совпадения с шаблонами будут пропущены.
Текст, который хранится в виде векторных контуров, а не кодов символов, например текст, преобразованный в контуры в программном обеспечении для проектирования, невидим для редактирования на основе шаблонов. Текст выглядит как текст на странице, но PDF-файл содержит инструкции по рисованию для каждой формы символов, а не коды символов. Редактирование на основе шаблонов не может найти текст, хранящийся в этом формате.
Правила PDF Privacy все чаще требуют от организаций подтверждения того, что редактирование было выполнено правильно. Отчет о редактировании на основе шаблонов, в котором документируется, какие шаблоны были найдены, сколько совпадений было найдено, сколько было применено и сколько было изменено вручную, свидетельствует о должной осмотрительности в процессе редактирования.
WukongPDF предоставляет инструменты редактирования через браузер, которые могут обрабатывать PDF-файлы локально. Редактирование на основе шаблонов ищет в текстовом слое документа совпадения с шаблонами и применяет метки редактирования. Подход на основе браузера сохраняет данные вашего документа на вашем устройстве во время процесса редактирования.
Частичное редактирование иногда требуется для шаблонов, в которых необходимо скрыть только часть совпадающего текста. Номер телефона, где должны быть видны только последние четыре цифры, или адрес электронной почты, где домен должен оставаться видимым. Инструменты редактирования на основе шаблонов, которые поддерживают группы захвата, позволяют вам определить, какие части совпавшего шаблона нужно редактировать, а какие оставить видимыми.
После применения редактирования по шаблону выполните поиск в документе фрагментов отредактированной информации. Адрес электронной почты, измененный как j***@domain.com, все равно может быть идентифицирован, если домен уникален. Для обеспечения максимальной конфиденциальности редактируйте весь совпавший шаблон, а не пытайтесь редактировать его частично.
В документах, которые содержат как текстовые, так и графические экземпляры одного и того же шаблона, например PDF-файлы с напечатанными и отсканированными страницами, редактирование на основе шаблонов обрабатывает текстовые экземпляры, а редактирование на основе изображений должно применяться отдельно к отсканированным страницам.
Редактирование на основе шаблонов — это один из компонентов комплексной стратегии очистки документов. Другие компоненты включают удаление метаданных, удаление скрытого контента, а также удаление комментариев и аннотаций. Документ, который был тщательно отредактирован по шаблону, но все еще содержит имя автора и организацию в метаданных, все равно может привести к утечке конфиденциальной информации.
Для документов юридического характера редактирование на основе шаблонов должно сочетаться с проверкой вручную. Шаблон может найти номера телефонов, но не может найти ссылку на телефонный разговор, в котором не был указан номер телефона. При ручном просмотре выявляются контекстные ссылки, которые не учитываются при сопоставлении с образцом.
Библиотеки шаблонов, используемые в разных организациях, могут улучшить согласованность редактирования. Юридическая фирма, которая обрабатывает сотни документов обнаружения, разрабатывает библиотеку проверенных шаблонов для распространенных типов конфиденциальных данных. Совместное использование этой библиотеки во всей фирме гарантирует, что каждый документ будет редактироваться по одним и тем же шаблонам.
Крайне важно протестировать новые шаблоны на образце документа, прежде чем применять их ко всему документу. Шаблон, который отлично работает при тестировании, может привести к неожиданным совпадениям в реальном документе из-за вариантов форматирования, артефактов оптического распознавания символов или необычных форматов данных.
Журнал проверки редактирования должен сохраняться вместе с отредактированным документом. Журнал аудита документирует, какие шаблоны использовались, сколько совпадений было найдено для каждого шаблона и были ли какие-либо совпадения отменены вручную. Эта документация поддерживает обеспечение качества и соответствие нормативным требованиям.
Регулярные выражения для сопоставления с образцом можно протестировать вне инструмента PDF перед запуском редактирования. Онлайн-тестеры регулярных выражений позволяют вводить образец текста и видеть, какие шаблоны совпадают. Проверьте свой номер телефона, адрес электронной почты и шаблоны SSN на репрезентативных образцах текста документа, чтобы убедиться, что они попадают в намеченные цели.
Экономия времени при редактировании на основе шаблонов по сравнению с редактированием вручную является значительной. Для поиска и редактирования документа, содержащего 500 экземпляров конфиденциальных шаблонов, инструменту на основе шаблонов требуется менее минуты. Редактирование одного и того же документа вручную могло бы занять несколько часов.
Для документов, которые будут редактироваться по регулярному графику, например ежемесячных отчетов, которые всегда содержат одни и те же типы конфиденциальных данных, сохраните набор шаблонов в качестве предустановки. Применение предустановки к каждому новому отчету обеспечивает согласованное редактирование без необходимости каждый раз перенастраивать шаблоны.
Обучение персонала правильным методам редактирования так же важно, как и наличие правильных инструментов. Инструмент редактирования на основе шаблонов в неподготовленных руках может вызвать ложное чувство безопасности. Персонал должен понимать, что может и чего не может этот инструмент, важность проверки совпадений и этапы проверки после редактирования.
Для организаций, на которые распространяются GDPR, HIPAA или аналогичные правила конфиденциальности, редактирование на основе шаблонов должно быть частью документированного процесса защиты данных. В процессе следует указать, какие шаблоны следует искать, кто просматривает совпадения и как проверяется редактирование перед выпуском документа.
| Шаблон | Пример регулярного выражения | Риск ложного совпадения | Совет по проверке |
|---|---|---|---|
| Телефон (США) | \(\d{3}\) \d{3}-\d{4} | Средний: соответствует номерам счетов-фактур. | Проверьте контекст; отменить выбор совпадений, не связанных с телефоном |
| Электронная почта | \S+@\S+\.\S+ | Низкий: @ характерен | Убедитесь, что домен является реальным доменом электронной почты |
| ССН | \d{3}-\d{2}-\d{4} | Высокий: соответствует кодам продуктов | Ручная проверка необходима для шаблонов SSN |
| Кредитная карта | \d{4}-\d{4}-\d{4}-\d{4} | Низкий с проверкой Луна | Включите проверку Луна, если она доступна. |
Попробуйте Редактировать PDF
Никакой установки не требуется. Работает прямо в вашем браузере.