Die Ergebnisse der ersten Phase des FineBooks-Projekts zeigen, dass offene Modelle zur optischen Zeichenerkennung (OCR) inzwischen in den meisten Anwendungsfällen historische Buchtexte mit einer Genauigkeit extrahieren können, die eine erneute Verarbeitung umfangreicher Sammlungen gemeinfreier Bücher praktikabel macht. Gleichzeitig offenbaren die Ergebnisse wichtige Einschränkungen hinsichtlich der Bewahrung historischer Texteigenschaften, der Kompatibilität der Ausgaben mit Bibliothekssystemen und des Umgangs mit Dokumenttypen und Schriften, die nicht in die Bewertung einbezogen wurden.
Das Projekt ist eine Zusammenarbeit zwischen Hugging Face und EleutherAI und verfolgt zwei Ziele: zu prüfen, ob aktuelle offene OCR-Modelle genau, schnell und kostengünstig genug sind, um historische Bücher in großem Maßstab zu verarbeiten, und anschließend Sammlungen gemeinfreier Bücher erneut zu verarbeiten und die verbesserten Texte als offene Datensätze zu veröffentlichen. In seiner ersten Phase wählte das Projekt die Biodiversity Heritage Library (BHL) aus, eine globale Sammlung mit mehr als 300.000 historischen Dokumenten zur Naturgeschichte und mehr als 64 Millionen Seiten wissenschaftlichen Wissens.
Ein Test auf Grundlage von 2.165 annotierten Seiten
FineBooks veröffentlichte das FineBooks BHL OCR Leaderboard sowie den Referenzdatensatz finebooks/bhl-impact-gt und das Bewertungswerkzeug finebooks/bhl-ocr-eval. Das Leaderboard vergleicht 14 offene Modelle mit verfügbaren Gewichten und Lizenzen, die eine Wiederverwendung erlauben, sodass sie auf eigener Hardware ohne API-Schlüssel oder Gebühren pro Seite betrieben werden können.
Die Bewertung stützte sich auf von Experten korrigierte Transkriptionen aus den Projekten IMPACT und BHL-Europe aus den Jahren 2011 und 2012. Das Material umfasst 2.165 Seiten aus sechs Bänden in englischer, französischer, deutscher und lateinischer Sprache, mit einer Genauigkeit von etwa einem Fehler pro 2.000 Zeichen. Diese Transkriptionen wurden in einem modernen Datensatz neu zusammengestellt, der jedes gescannte Bild mit dem entsprechenden Text verknüpft, wobei die vollständige BHL-Sammlung genutzt wurde, die über AWS Open Data zum Massendownload bereitsteht.
Was misst das Leaderboard?
Die grundlegende Messgröße ist die Zeichenfehlerrate (CER), die Ersetzungen, Löschungen und Einfügungen im Vergleich zum korrekten Text berechnet. Zur leichteren Darstellung wurde die Rate in einen Genauigkeitswert umgewandelt: Wenn die CER 0,024 beträgt, bedeutet dies, dass 97,6 % der Zeichen korrekt erkannt wurden.
Das Leaderboard beschränkt sich nicht auf diese Kennzahl, sondern zeigt außerdem zwei CER-Varianten an: eine für die Lesbarkeit und eine diplomatische, die historische Unterschiede wie das lange s „ſ“ bewahrt. Zusätzlich misst es den Abruf tatsächlich auf der Seite vorhandener Wörter, den Anteil zusätzlichen Textes, der auf der Seite nicht erscheint, sowie die Wiederholungsrate, die entsteht, wenn das Modell Text erneut ausgibt, bis es das Tokenlimit erreicht. Seiten, die in eine Wiederholungsschleife geraten, werden aus einigen anderen Ergebnissen ausgeschlossen. Daher sollte die Wiederholungsrate zusammen mit den Genauigkeitswerten betrachtet werden.
Präzise Modelle mit niedrigen Betriebskosten
Nach der veröffentlichten Ergebnisauswahl lag das Modell dots.mocr mit einer Lesegenauigkeit von 97,6 % vorn, gefolgt von OvisOCR2 mit 96,9 % und PaddleOCR-VL-1.6 mit 96,1 %. olmOCR-2 erreichte 95,7 %, LightOnOCR-2 95,1 %, Qwen3.5-9B 94,9 %, während DeepSeek-OCR eine Leistung von 93,8 % erzielte.
- Die Verarbeitung von 1.000 Seiten mit Hugging Face Jobs kostete für das Modell dots.mocr etwa 1,94 US-Dollar.
- Die Kosten betrugen 0,46 US-Dollar für OvisOCR2, 0,34 US-Dollar für PaddleOCR-VL-1.6 und 0,45 US-Dollar für olmOCR-2.
- Qwen3.5-9B verzeichnete Kosten von 0,89 US-Dollar pro 1.000 Seiten.
Hugging Face Jobs führt die Aufgabe über einen einzigen Befehl aus, der eine GPU startet, das Modell auf den Datensatz anwendet und anschließend die Umgebung beendet. Außerdem werden bei jedem Lauf die Modellversion, das Container-Image und die Skriptversion festgehalten. Dadurch lassen sich die Ergebnisse reproduzieren und neue Modelle mit einer einzigen Aufgabe in das Leaderboard aufnehmen.
Reichen die Modelle für den praktischen Einsatz aus?
Für Datensätze, die zum Training von Sprachmodellen verwendet werden, lautet die Antwort nach Ansicht der Projektautoren meist ja. Gemeinfreie Texte stellen eine umfangreiche Trainingsquelle dar, ihr Wert hängt jedoch von ihrer Qualität ab. Der Artikel weist darauf hin, dass das Talkie-Projekt festgestellt habe, dass ein auf per OCR extrahierten Texten trainiertes Sprachmodell mit einer Effizienz von 30 % der Effizienz eines Modells lernte, das auf menschlichen Transkriptionen derselben Bücher trainiert worden war. Common Pile, das von EleutherAI und ihren Mitwirkenden veröffentlicht wurde, umfasst außerdem etwa 300.000 gemeinfreie Bücher, deren Text aus älteren OCR-Verarbeitungspipelines extrahiert wurde. Eine erneute Verarbeitung mit besseren Modellen stellt daher eine wirkungsvolle Verbesserung offener Trainingssammlungen dar.
Ob alte OCR-Pipelines in Bibliotheken ersetzt werden können, hängt von den erforderlichen technischen Strukturen ab. Herkömmliche Systeme erzeugen in der Regel ALTO-XML-Dateien mit Koordinaten auf Wortebene, während neue Modelle Markdown oder Klartext und manchmal Koordinaten für Textbereiche ausgeben, jedoch keine Wortkoordinaten. Bibliotheken können den neuen Text daher nicht unbedingt direkt in die bestehende Struktur integrieren.
Für eine präzise wissenschaftliche Transkription scheinen die Modelle derzeit noch nicht auszureichen. Das grundlegende Problem besteht nicht immer in einer falschen Lesung der Seite, sondern darin, dass das Modell das lange s, typografische Ligaturen und andere historische Merkmale stillschweigend modernisiert. Die Autoren des Artikels sind der Ansicht, dass ein spezialisiertes Fein-Tuning diese Einschränkungen beheben könnte.
Grenzen der Bewertung und nächste Schritte
Die Ergebnisse umfassen nur vier Sprachen und sechs Bände, die in Schriften aus der Antiqua-Familie verfasst sind. Daher können sie nicht auf die deutsche Fraktur, nichtlateinische Schriftsysteme, außereuropäische Sprachen oder handschriftliche Manuskripte verallgemeinert werden. Außerdem konzentriert sich das Projekt bewusst auf Bücher, die visuell regelmäßiger sind als Zeitungen, Zeitschriften und Archivmaterialien. Mehrspaltige Seiten oder komplexe Elemente werden vom Leaderboard nicht geprüft.
FineBooks beabsichtigt, weiterhin neue Modelle in das Leaderboard aufzunehmen und anschließend die gesamte gemeinfreie BHL-Sammlung erneut zu verarbeiten. Von den etwa 300.000 Objekten der Sammlung tragen knapp 200.000 Metadaten, die darauf hinweisen, dass sie gemeinfrei sind. Das Projekt wird eines der fortgeschrittenen Modelle verwenden, um diese Materialien zu verarbeiten, und den resultierenden Text als ersten FineBooks-Datensatz veröffentlichen. Die Datensätze, Verarbeitungspipelines und unterstützenden Modelle, die entwickelt werden, sollen offen geteilt werden.