FineBooksプロジェクトの第1段階の結果は、オープンな光学文字認識（OCR）モデルが、ほとんどの利用場面において、歴史書の本文を十分な精度で抽出できるようになり、大規模なパブリックドメイン書籍コレクションを再処理することが実用的になったことを示している。しかし同時に、本文の歴史的特徴の保持、図書館システムとの出力の互換性、評価対象に含まれなかった文書種別や書体への対応に関する重要な制約も明らかになった。
このプロジェクトはHugging FaceとEleutherAIの共同事業であり、2つの目的を持つ。第1に、現在のオープンOCRモデルが、歴史書を大規模に処理するのに十分な精度、速度、低コストを備えているかを検証すること。第2に、パブリックドメインに属する書籍コレクションを再処理し、改善された本文をオープンデータセットとして公開することである。第1段階では、自然史分野の30万点を超える歴史資料を収録し、科学知識の6,400万ページ以上を含む世界的なコレクション、Biodiversity Heritage Library（BHL）を選定した。
検証は検証済みの2,165ページに基づく
FineBooksは、FineBooks BHL OCR Leaderboardに加えて、基準データセットfinebooks/bhl-impact-gtと評価ツールfinebooks/bhl-ocr-evalを公開した。このリーダーボードでは、再利用を許可するライセンスで提供された14のオープンウェイトOCRモデルを比較しており、APIキーやページ単位の料金なしに、独自のハードウェア上で実行できる。
評価は、2011年から2012年にかけてIMPACTおよびBHL-Europeの両プロジェクトで専門家が校正した転写に基づいている。この資料には、英語、フランス語、ドイツ語、ラテン語による6冊の2,165ページが含まれ、精度はおよそ2,000文字に1個の誤りに相当する。これらの転写は、各スキャン画像と対応する本文を結び付ける最新のデータセットとして再構築された。BHL全体がAWS Open Dataを通じた一括ダウンロードに対応していることも活用している。
リーダーボードは何を測定するのか
基本指標は文字誤り率（CER）で、正解テキストと比較した置換、削除、挿入を計算する。表示を簡略化するため、この率は精度の割合に変換される。たとえばCERが0.024の場合、文字の97.6%を正確に認識したことを意味する。
リーダーボードはこの指標だけに限定されない。CERについて、読みやすさを重視するものと、長いs「ſ」などの歴史的差異を保持する外交的転写の2種類も示している。さらに、実際にページ上に存在する単語の再現率、ページ上に現れない余分なテキストの割合、モデルがトークン上限に達するまで本文を繰り返し生成する際に生じる反復率も測定する。反復ループに入ったページは、その他の一部の結果から除外されるため、反復率は精度スコアと併せて読む必要がある。
低い運用コストで高精度を実現するモデル
公開された結果のサンプルによると、dots.mocrが読み取り精度97.6%で首位となり、OvisOCR2が96.9%、PaddleOCR-VL-1.6が96.1%で続いた。olmOCR-2は95.7%、LightOnOCR-2は95.1%、Qwen3.5-9Bは94.9%を記録し、DeepSeek-OCRの性能は93.8%だった。
- Hugging Face Jobsを使用した1,000ページの処理コストは、dots.mocrで約1.94ドルだった。
- コストはOvisOCR2で0.46ドル、PaddleOCR-VL-1.6で0.34ドル、olmOCR-2で0.45ドルだった。
- Qwen3.5-9Bは1,000ページ当たり0.89ドルだった。
Hugging Face Jobsは、GPUの起動、データセットへのモデルの適用、環境の停止までを1つのコマンドで実行する。また、各処理ではモデルのバージョン、コンテナイメージ、スクリプトのバージョンが固定されるため、結果を再現でき、1つのジョブで新しいモデルをリーダーボードに追加できる。
モデルは実用に十分なのか
言語モデルの訓練に使用するデータセットについて、プロジェクトの著者らは概して「十分」と考えている。パブリックドメインの本文は訓練用の大規模な情報源だが、その価値は品質に左右される。記事によると、Talkieプロジェクトは、OCRで抽出した本文で訓練した言語モデルが、同じ書籍の人手による転写で訓練したモデルの30%の効率で学習したことを確認した。また、EleutherAIとその協力者が公開したCommon Pileには、古いOCR処理パイプラインから本文が抽出されたパブリックドメイン書籍が約30万冊含まれているため、より優れたモデルによる再処理は、オープンな訓練データセットに大きな改善をもたらし得る。
一方、図書館の古いOCRパイプラインを置き換えられるかどうかは、必要とされる技術基盤によって異なる。従来のシステムは通常、単語単位の座標を提供するALTO XMLファイルを生成する。一方、新しいモデルはMarkdownやプレーンテキスト、ときにはテキスト領域の座標を出力するものの、単語の座標は提供しない。そのため、図書館は必ずしも新しい本文を既存の基盤へ直接取り込めるとは限らない。
また、学術的に厳密な転写には、現時点ではモデルだけでは不十分に見える。主な問題は、ページを常に誤読することではなく、長いsや合字などの歴史的特徴をモデルが黙って現代的な形へ更新してしまうことにある。記事の著者らは、専門的なファインチューニングによってこうした制約を解決できる可能性があると考えている。
評価の限界と次の段階
結果は、4言語、antiqua系の書体で書かれた6冊に限られている。そのため、ドイツ語のFraktur、ラテン文字以外の文字体系、ヨーロッパ以外の言語、手書き原稿へ一般化することはできない。また、このプロジェクトは意図的に書籍に焦点を当てている。書籍は新聞、雑誌、アーカイブ資料よりも視覚的に整然としているためであり、リーダーボードは多段組のページや複雑な要素を検証していない。
FineBooksは、今後も新しいモデルをリーダーボードに追加し、その後、BHLのパブリックコレクション全体を再処理する予定である。コレクションに含まれる約30万点のうち、約20万点にはパブリックドメインに属することを示すデータが付与されている。プロジェクトは、先進的なモデルの1つを用いてこれらの資料を処理し、生成された本文を最初のFineBooksデータセットとして公開する。また、開発されるデータセット、処理パイプライン、補助モデルもオープンに共有する。