PDF에서 OCR을 직접 실행하면 깨끗한 텍스트 기반 문서에 적합합니다. 기울어진 텍스트, 혼합된 글꼴, 비정상적인 레이아웃 또는 심한 배경 소음이 있는 스캔한 페이지의 경우 OCR 전에 페이지를 이미지로 전처리하면 인식 정확도가 크게 향상될 수 있습니다. 각 PDF 페이지를 고해상도 이미지로 변환하면 PDF 자체에는 적용하기 어렵거나 불가능한 노이즈 감소, 기울기 조정, 대비 조정, 이진화 필터를 적용할 수 있습니다.
이미지 파이프라인이 단계를 추가합니다. 정확도 이득은 어려운 스캔을 정당화합니다.
전처리 단계로서 PDF에서 Image로의 변환은 시각적 정리와 텍스트 인식을 분리합니다. 각 페이지는 OCR 엔진에 제공되기 전에 이미지 향상 도구를 통해 처리할 수 있는 독립형 이미지 파일이 됩니다. WukongPDF의 변환 및 OCR PDF 도구는 이 워크플로우를 지원하므로 정리된 이미지에서 인식이 실행되기 전에 이미지 품질을 미세 조정할 수 있습니다.
이미지 전처리가 OCR 정확도를 향상시키는 이유
OCR 엔진은 배경과 문자 모양을 감지합니다. 문자 경계를 모호하게 만드는 모든 것은 정확성을 떨어뜨립니다. 기울어진 텍스트 줄은 줄 감지를 혼란스럽게 합니다. 배경 얼룩과 문서 얼룩으로 인해 잘못된 문자 후보가 생성됩니다. 조명이 고르지 않으면 페이지 가장자리 근처의 문자가 노이즈로 희미해지는 그라데이션 배경이 생성됩니다. 색이 바랜 영수증과 카본 카피의 특징인 텍스트와 종이 사이의 낮은 대비로 인해 얇은 문자 획이 완전히 사라집니다.
이미지로 변환하면 각 문제를 개별적으로 해결할 수 있습니다. 기울기 보정 알고리즘은 텍스트 줄이 완벽하게 수평이 될 때까지 페이지를 회전시켜 줄 감지 엔진이 기대하는 대로 정확하게 제공합니다. 노이즈 감소 필터는 문자 가장자리를 흐리게 하지 않고 얼룩을 제거합니다. 대비 곡선은 원본 스캔에 미묘한 차이만 보이는 경우에도 밝은 배경에서 어두운 텍스트를 분리합니다. 이진화는 회색조를 순수한 흑백으로 변환하여 그라데이션 배경을 제거합니다. 각 단계는 하나의 특정 유형의 시각적 문제를 처리하며 함께 주변 스캔을 OCR 엔진이 높은 신뢰도로 읽을 수 있는 깨끗한 입력으로 전환합니다.
실수는 차이를 보여줍니다. 200DPI로 스캔한 1980년대 도트 매트릭스 송장은 PDF에서 직접 OCR하면 70%의 문자 정확도를 생성할 수 있습니다. 기울기 조정, 적응형 이진화 및 얼룩 제거 후에는 동일한 문서의 비율이 95% 이상에 도달할 수 있습니다. 이를 500개의 송장 배치에 분산시키면 심각한 오류가 있는 125개의 송장과 사소한 수정이 필요한 25개의 송장 간의 차이가 발생합니다. 전처리는 악몽같은 정리 작업을 사용 가능한 출력으로 바꾸고 페이지당 처리 시간(전체 개선 파이프라인의 경우 대략 2~3초)은 수동 수정 시간에 비해 절약되는 수준입니다.
OCR 전처리를 위한 이미지 형식 및 해상도 선택
형식 선택은 최종 출력이 아닌 파이프라인에 영향을 미칩니다. TIFF는 무손실 압축, 완벽한 픽셀 보존, Tesseract와 같은 엔진의 기본 지원 등 전통적인 OCR 전처리 형식으로 남아 있습니다. PNG는 최신 도구가 잘 처리할 수 있는 웹 친화적인 래퍼로 동일한 무손실 품질을 제공합니다. 압축 아티팩트는 문자 주위에 가장자리 노이즈를 발생시켜 달성하려는 정리 작업을 취소하므로 중간 단계에서는 JPEG를 피해야 합니다. 아티팩트는 미묘하지만 OCR 엔진은 이를 알아차립니다.
분해능은 정확도 상한선을 결정합니다. 300DPI가 합의 최적 지점입니다. 200 DPI 미만에서는 작은 텍스트와 얇은 세리프가 배경으로 흐려지고 정확도가 급격하게 떨어집니다. 400DPI를 초과하면 파일 크기가 커지는 반면 정확도는 균일해집니다. 6포인트 유형으로 인쇄된 법적 각주 및 의약품 라벨은 400-600 DPI를 정당화할 수 있습니다. 대형 활자의 포스터와 간판 사진은 200DPI에서 잘 작동하는 경우가 많습니다. 평균이 아닌 페이지의 가장 작은 텍스트에 해상도를 맞추세요.
| 형식 | 압축 | 에 가장 적합 | 다음 경우에는 피하십시오 |
|---|---|---|---|
| 사소한 말다툼 | 무손실(LZW 또는 비압축) | Tesseract OCR, 보관 전처리 | 파일 크기는 품질보다 중요합니다 |
| PNG | 무손실 | 최신 OCR 파이프라인, 웹 기반 도구 | TIFF가 필요한 레거시 OCR 소프트웨어 |
| JPEG | 손실이 있는 | 빠른 미리보기, 시각적 확인 | 전처리 단계(아티팩트가 OCR을 저하함) |
| JPEG2000 | 무손실 옵션 사용 가능 | 대용량 아카이브 스캐닝 | 제한된 OCR 도구 지원 |
OCR 전 이미지 향상 적용
기울기 조정이 먼저입니다. 1~2도 기울어져도 단어 정확도가 몇 포인트씩 떨어집니다. 왜냐하면 선 분할에서는 수평 기준선이 필요하기 때문입니다. 대부분의 이미지 처리 라이브러리에 있는 자동 기울기 조정 기능은 선 방향을 분석하고 수평으로 만드는 데 필요한 회전을 계산하여 주요 텍스트 각도를 감지합니다. 이 단일 수정은 전처리 단계에서 가장 큰 정확도 이득을 제공하는 경우가 많습니다.
이진화는 기울기 보정을 따릅니다. Otsu의 알고리즘이나 Sauvola의 방법과 같은 적응형 임계값 지정 방법은 로컬 이미지 영역을 독립적으로 분석하여 하나의 전역 컷오프 값보다 조명이 고르지 않은 문서를 훨씬 더 잘 처리합니다. 페이지 중앙은 밝고 가장자리는 어두운 경우 각 영역마다 다른 임계값이 필요하며 적응형 방법이 제공됩니다. 이와 대조적으로 전역 임계값 지정은 전체 페이지에 대해 하나의 컷오프를 선택하며 일반적으로 어두운 부분의 텍스트를 잘라내거나 밝은 영역에 노이즈를 남깁니다. 완벽하지 않은 조명 아래에서 스캔한 모든 문서에서 두 가지 접근 방식의 시각적 차이가 즉각적으로 드러납니다.
소음제거 작업이 완료되었습니다. 고립된 작은 검정 또는 흰색 픽셀, 오래되거나 질감이 있는 용지를 스캔할 때 흔히 발생하는 소금과 후추 노이즈로 인해 잘못된 문자 조각이 생성됩니다. 반경이 2~3픽셀인 중앙값 필터는 실제 문자 가장자리를 유지하면서 이러한 얼룩을 제거합니다. 인식할 준비가 된 깨끗한 바이너리 출력입니다. 이 처리된 이미지와 원본 스캔에 대해 OCR을 실행하면 까다로운 문서에서 정확도가 10~25% 향상되고 전체 향상 파이프라인이 페이지당 몇 초 만에 완료됩니다.
전처리된 이미지에서 OCR 실행
정리된 이미지를 OCR 엔진에 개별 페이지로 공급합니다. Tesseract와 대부분의 다른 엔진은 이미지 디렉터리를 허용하고 페이지당 텍스트 파일을 출력합니다. 검색 가능한 PDF 출력의 경우 인식된 텍스트를 이미지와 다시 결합하여 보이지 않는 텍스트 레이어가 있는 PDF를 만듭니다. hOCR 출력 형식은 인식된 텍스트가 페이지의 특정 위치에 다시 매핑되어야 하는 경우를 위해 페이지 레이아웃 정보를 보존합니다. 이 레이아웃 데이터를 사용하면 검색 가능한 PDF에서 읽을 때 강조 표시 기능을 사용할 수 있습니다.
항상 결과를 비교하세요. 원시 PDF와 전처리된 이미지 모두에 대해 OCR을 실행한 다음 두 출력 모두에서 동일한 단락을 무작위로 확인합니다. 어려운 문서의 차이는 극명합니다. 정확도가 60%에서 95%로 변하는 희미한 사본 영수증은 사용할 수 없는 것과 사용할 수 없는 것의 차이를 의미합니다. 300DPI의 깨끗하고 현대적인 레이저 인쇄 문서의 경우 개선 사항이 미미할 수 있으며 직접 PDF OCR이 완벽하게 적합합니다. 어떤 문서가 유익한지 알면 출력 품질을 저하시키지 않고 처리 시간을 절약할 수 있습니다.
대용량 문서 세트 일괄 처리
수백 또는 수천 페이지에 자동화가 필요합니다. 파이프라인 스크립팅: PDF 페이지를 이미지로 변환하고, 배치 전체에 일관된 향상 매개변수를 적용하고, OCR을 실행하고, 결과를 컴파일합니다. pdf2image, Pillow 및 pytesseract가 포함된 Python은 표준 컴퓨터에서 밤새 수천 페이지를 처리하는 유연한 무료 파이프라인을 제공합니다. 초기 설정에는 1~2시간이 걸리지만 모든 후속 배치는 단일 명령으로 실행됩니다. 일회성 소규모 작업의 경우 GUI 도구를 통한 수동 전처리가 설정이 더 빠르고 동일하게 효과적입니다.
모든 배치에서 무작위 샘플을 품질 검사합니다. 일관된 설정은 일관된 결과를 보장하지 않습니다. 일부 페이지에는 표준 개선 사항에서 누락된 고유한 아티팩트가 있습니다. 배치의 5~10%를 무작위로 검사하면 오류가 전체 문서 세트에 전파되기 전에 체계적인 문제, 희박한 텍스트가 있는 페이지의 기울기 조정 실패, 내용이 희미한 페이지의 이진화 축소 등을 찾아냅니다. 샘플을 기반으로 개선 매개변수를 수정하고 다시 실행하면 나머지 배치가 깨끗하게 나옵니다.