FineBooks 프로젝트의 1단계 결과에 따르면, 오픈 문자 광학 인식(OCR) 모델은 대부분의 사용 사례에서 역사 도서의 텍스트를 추출할 수 있는 수준에 도달했으며, 이에 따라 대규모 공공 도서 컬렉션을 다시 처리하는 일이 실용적이 되었다. 그러나 동시에 이 결과는 텍스트의 역사적 특성 보존, 도서관 시스템과의 출력 호환성, 평가에 포함되지 않은 문서 유형과 서체 처리와 관련된 중요한 한계를 드러낸다.
이 프로젝트는 Hugging Face와 EleutherAI의 협력으로 진행되며, 두 가지 목표를 가진다. 첫째, 현재의 오픈 OCR 모델이 역사 도서를 대규모로 처리할 만큼 정확하고 빠르며 비용이 낮은지 검증하는 것이다. 둘째, 퍼블릭 도메인에 속하는 도서 컬렉션을 다시 처리하고 개선된 텍스트를 오픈 데이터 세트 형태로 공개하는 것이다. 1단계에서 이 프로젝트는 자연사 분야의 역사 문서 30만 건 이상과 과학 지식 6,400만 페이지 이상을 보유한 세계적인 컬렉션인 Biodiversity Heritage Library(BHL)를 선택했다.
검증된 2,165페이지를 기반으로 한 테스트
FineBooks는 FineBooks BHL OCR Leaderboard와 함께 기준 데이터 세트 finebooks/bhl-impact-gt, 평가 도구 finebooks/bhl-ocr-eval을 공개했다. 이 리더보드는 재사용을 허용하는 라이선스로 공개된 14개의 오픈 웨이트 OCR 모델을 비교하므로, API 키나 페이지당 요금 없이 자체 하드웨어에서 실행할 수 있다.
평가는 2011년과 2012년 사이 IMPACT 및 BHL-Europe 프로젝트에서 전문가들이 교정한 전사본을 기반으로 했다. 이 자료는 영어, 프랑스어, 독일어, 라틴어로 작성된 6개 권의 2,165페이지를 포함하며, 정확도는 문자 2,000자당 오류 약 1개에 해당한다. 이 전사본은 각 스캔 이미지와 해당 텍스트를 연결하는 최신 데이터 세트로 재구성되었으며, AWS Open Data를 통한 BHL 전체 컬렉션의 일괄 다운로드 제공을 활용했다.
리더보드는 무엇을 측정하는가?
기본 측정 지표는 문자 오류율(CER)이다. 이는 정답 텍스트와 비교해 대체, 삭제, 추가된 문자를 계산한다. 표시를 간소화하기 위해 이 비율은 정확도 비율로 변환되었다. 따라서 CER이 0.024라면 문자의 97.6%를 정확하게 인식했다는 뜻이다.
리더보드는 이 지표에 그치지 않고 CER의 두 가지 버전도 표시한다. 하나는 읽기용이고, 다른 하나는 긴 s인 «ſ»와 같은 역사적 차이를 보존하는 외교적 전사 방식이다. 또한 실제로 페이지에 존재하는 단어의 재현율, 페이지에 나타나지 않는 불필요한 텍스트의 비율, 모델이 토큰 한도에 도달할 때까지 텍스트를 반복 생성하는 반복률도 측정한다. 반복 루프에 들어간 페이지는 다른 일부 결과에서 제외되므로, 반복률은 정확도 점수와 함께 읽어야 한다.
낮은 운영 비용으로 높은 정확도를 보이는 모델
공개된 결과 표본에 따르면 dots.mocr가 읽기 정확도 97.6%로 1위를 차지했으며, OvisOCR2가 96.9%, PaddleOCR-VL-1.6이 96.1%로 뒤를 이었다. olmOCR-2는 95.7%, LightOnOCR-2는 95.1%, Qwen3.5-9B는 94.9%를 기록했으며, DeepSeek-OCR의 성능은 93.8%였다.
- Hugging Face Jobs를 사용해 1,000페이지를 처리하는 비용은 dots.mocr의 경우 약 1.94달러였다.
- OvisOCR2는 0.46달러, PaddleOCR-VL-1.6은 0.34달러, olmOCR-2는 0.45달러였다.
- Qwen3.5-9B는 1,000페이지당 0.89달러의 비용을 기록했다.
Hugging Face Jobs는 GPU 인스턴스를 시작하고, 데이터 세트에 모델을 실행한 뒤, 환경을 종료하는 작업을 단일 명령으로 수행한다. 또한 각 실행에서 모델 버전, 컨테이너 이미지, 스크립트 버전을 고정하므로 결과를 재현할 수 있으며, 하나의 작업으로 새 모델을 리더보드에 추가할 수 있다.
실제 사용에 모델이 충분한가?
언어 모델 학습에 사용되는 데이터 세트의 경우, 프로젝트 저자들은 대체로 그렇다고 본다. 공개 텍스트는 학습을 위한 대규모 자료원이지만, 그 가치는 품질에 달려 있다. 기사에 따르면 Talkie 프로젝트는 OCR 기술로 추출한 텍스트를 학습한 언어 모델이 동일한 도서의 인간 전사본으로 학습한 모델 효율의 30%로 학습되었다는 사실을 발견했다. 또한 EleutherAI와 협력자들이 공개한 Common Pile에는 이전 OCR 처리 파이프라인에서 추출한 텍스트를 포함한 약 30만 권의 퍼블릭 도메인 도서가 들어 있다. 따라서 더 나은 모델을 사용해 다시 처리하는 것은 오픈 학습 데이터 세트에 상당한 개선이 될 수 있다.
도서관의 기존 OCR 파이프라인을 대체할 수 있는지는 필요한 기술 인프라에 따라 달라진다. 전통적인 시스템은 일반적으로 단어 단위 좌표를 제공하는 ALTO XML 파일을 생성한다. 반면 새로운 모델은 Markdown이나 일반 텍스트, 때로는 텍스트 영역 좌표를 출력하지만 단어 좌표는 제공하지 않는다. 따라서 도서관이 새로운 텍스트를 기존 구조에 곧바로 삽입하지 못할 수도 있다.
정밀한 학술적 전사에 모델이 아직 충분해 보이지도 않는다. 핵심 문제는 페이지를 잘못 읽는 것만이 아니라, 모델이 긴 s나 합자 및 기타 역사적 특징을 조용히 현대적인 형태로 바꾸는 데 있다. 이 글의 저자들은 전문적인 미세 조정이 이러한 한계를 해결할 수 있다고 본다.
평가의 한계와 다음 단계
결과는 네 개 언어와 antiqua 계열 서체로 작성된 6개 권만을 포함한다. 따라서 독일어 Fraktur, 비라틴 문자 체계, 비유럽 언어 또는 손글씨 원고에 일반화할 수 없다. 또한 이 프로젝트는 의도적으로 도서에 초점을 맞추고 있다. 도서는 신문, 잡지, 기록 보관 자료보다 시각적으로 더 규칙적이며, 리더보드는 다단 편집 페이지나 복잡한 요소를 테스트하지 않는다.
FineBooks는 새로운 모델을 리더보드에 계속 추가한 뒤 BHL의 전체 공개 컬렉션을 다시 처리할 계획이다. 컬렉션의 약 30만 개 항목 가운데 약 20만 개 항목에는 퍼블릭 도메인에 속한다는 것을 나타내는 데이터가 있다. 프로젝트는 고성능 모델 중 하나를 사용해 이 자료를 처리하고, 생성된 텍스트를 첫 번째 FineBooks 데이터 세트로 공개할 예정이다. 또한 개발될 데이터 세트, 처리 파이프라인, 지원 모델도 오픈 방식으로 공유한다.