Die Ergebnisse der ersten Phase des FineBooks-Projekts zeigen, dass offene Modelle zur optischen Zeichenerkennung (OCR) inzwischen in den meisten Anwendungsfällen historische Buchtexte mit einer Genauigkeit extrahieren können, die eine erneute Verarbeitung umfangreicher Bestände gemeinfreier Bücher praktikabel macht. Gleichzeitig offenbaren die Ergebnisse wichtige Einschränkungen hinsichtlich der Bewahrung historischer Texteigenschaften, der Kompatibilität der Ausgaben mit Bibliothekssystemen und des Umgangs mit Dokumenttypen und Schriften, die nicht in die Bewertung einbezogen wurden.
Das Projekt ist eine Zusammenarbeit zwischen Hugging Face und EleutherAI und verfolgt zwei Ziele: zu prüfen, ob aktuelle offene OCR-Modelle genau, schnell und kostengünstig genug sind, um historische Bücher in großem Umfang zu verarbeiten, und anschließend Sammlungen gemeinfreier Bücher erneut zu verarbeiten und die verbesserten Texte als offene Datensätze zu veröffentlichen. In der ersten Phase wählte das Projekt die Biodiversity Heritage Library (BHL) aus, eine globale Sammlung mit mehr als 300.000 historischen Dokumenten zur Naturgeschichte und mehr als 64 Millionen Seiten wissenschaftlichen Wissens.
Ein Test auf Grundlage von 2.165 verifizierten Seiten
FineBooks veröffentlichte das FineBooks BHL OCR Leaderboard sowie den Referenzdatensatz finebooks/bhl-impact-gt und das Bewertungstool finebooks/bhl-ocr-eval. Das Leaderboard vergleicht 14 offene Modelle mit freigegebenen Gewichten und Lizenzen, die eine Wiederverwendung erlauben, sodass sie auf eigener Hardware ohne API-Schlüssel oder Gebühren pro Seite ausgeführt werden können.
Die Bewertung stützte sich auf von Experten korrigierte Transkriptionen aus den Projekten IMPACT und BHL-Europe aus den Jahren 2011 und 2012. Das Material umfasst 2.165 Seiten aus sechs Bänden in englischer, französischer, deutscher und lateinischer Sprache und weist eine Genauigkeit von etwa einem Fehler pro 2.000 Zeichen auf. Diese Transkriptionen wurden in einem modernen Datensatz neu aufgebaut, der jedes Scanbild mit dem entsprechenden Text verknüpft. Dabei wurde die Möglichkeit genutzt, die gesamte BHL-Sammlung über AWS Open Data gesammelt herunterzuladen.
Was misst das Leaderboard?
Die primäre Messgröße ist die Zeichenfehlerrate (CER), die Ersetzungen, Löschungen und Einfügungen im Vergleich zum korrekten Text berechnet. Zur Vereinfachung der Darstellung wurde die Rate in einen Genauigkeitswert umgerechnet: Ein CER von 0,024 bedeutet beispielsweise, dass 97,6 % der Zeichen korrekt erkannt wurden.
Das Leaderboard beschränkt sich nicht auf diesen Indikator, sondern zeigt außerdem zwei CER-Varianten an: eine für die Lesbarkeit und eine diplomatische Variante, die historische Unterschiede wie das lange s „ſ“ bewahrt. Zusätzlich misst es den Recall der tatsächlich auf der Seite vorhandenen Wörter, den Anteil zusätzlicher Textinhalte, die auf der Seite nicht vorkommen, sowie die Wiederholungsrate, die entsteht, wenn das Modell Text wiederholt, bis es das Tokenlimit erreicht. Seiten, die in eine Wiederholungsschleife geraten, werden aus einigen anderen Ergebnissen ausgeschlossen. Daher sollte die Wiederholungsrate zusammen mit den Genauigkeitswerten betrachtet werden.
Präzise Modelle mit niedrigen Betriebskosten
Nach der veröffentlichten Ergebnisauswahl führte das Modell dots.mocr mit einer Lesegenauigkeit von 97,6 %, gefolgt von OvisOCR2 mit 96,9 % und PaddleOCR-VL-1.6 mit 96,1 %. olmOCR-2 erreichte 95,7 %, LightOnOCR-2 95,1 % und Qwen3.5-9B 94,9 %, während DeepSeek-OCR 93,8 % erzielte.
- Die Verarbeitung von 1.000 Seiten mit Hugging Face Jobs kostete für das Modell dots.mocr etwa 1,94 US-Dollar.
- Die Kosten betrugen 0,46 US-Dollar für OvisOCR2, 0,34 US-Dollar für PaddleOCR-VL-1.6 und 0,45 US-Dollar für olmOCR-2.
- Qwen3.5-9B verzeichnete Kosten von 0,89 US-Dollar pro 1.000 Seiten.
Hugging Face Jobs führt den Auftrag über einen einzigen Befehl aus: Er startet eine GPU, lässt das Modell über den Datensatz laufen und beendet anschließend die Umgebung. Außerdem werden bei jedem Lauf die Modellversion, das Container-Image und die Skriptversion festgehalten. Dadurch lassen sich die Ergebnisse reproduzieren und neue Modelle mit einem einzigen Auftrag zum Leaderboard hinzufügen.
Sind die Modelle für den praktischen Einsatz ausreichend?
Für Datensätze, die zum Training von Sprachmodellen verwendet werden, lautet die Antwort nach Ansicht der Projektautoren meist ja. Gemeinfreie Texte stellen eine große Trainingsquelle dar, doch ihr Wert hängt von ihrer Qualität ab. Der Artikel verweist darauf, dass das Talkie-Projekt festgestellt habe, dass ein auf OCR-extrahierten Texten trainiertes Sprachmodell mit 30 % der Effizienz eines Modells lernte, das auf menschlichen Transkriptionen derselben Bücher trainiert worden war. Common Pile, das von EleutherAI und ihren Partnern veröffentlicht wurde, umfasst außerdem etwa 300.000 gemeinfreie Bücher, deren Text aus älteren OCR-Verarbeitungspipelines extrahiert wurde. Eine erneute Verarbeitung mit besseren Modellen stellt daher eine wirkungsvolle Verbesserung offener Trainingssammlungen dar.
Ob alte OCR-Pipelines in Bibliotheken ersetzt werden können, hängt von den erforderlichen technischen Strukturen ab. Herkömmliche Systeme erzeugen normalerweise ALTO-XML-Dateien mit Koordinaten auf Wortebene, während neue Modelle Markdown oder Klartext und manchmal Koordinaten für Textbereiche ausgeben, jedoch keine Wortkoordinaten. Bibliotheken können den neuen Text daher nicht unbedingt direkt in die bestehende Struktur übernehmen.
Für eine präzise wissenschaftliche Transkription scheinen die Modelle noch nicht auszureichen. Das grundlegende Problem ist nicht immer eine fehlerhafte Lesung der Seite, sondern dass das Modell das lange s, typografische Ligaturen und andere historische Merkmale stillschweigend modernisiert. Die Autoren des Artikels sind der Ansicht, dass spezialisiertes Fine-Tuning diese Einschränkungen beheben könnte.
Grenzen der Bewertung und nächste Schritte
Die Ergebnisse umfassen nur vier Sprachen und sechs Bände, die in Schriften der Antiqua-Familie gesetzt sind. Daher können sie nicht auf die deutsche Frakturschrift, nichtlateinische Schriftsysteme, außereuropäische Sprachen oder handschriftliche Manuskripte verallgemeinert werden. Außerdem konzentriert sich das Projekt bewusst auf Bücher, die visuell regelmäßiger sind als Zeitungen, Zeitschriften und Archivmaterialien. Mehrspaltige Seiten oder komplexe Elemente werden vom Leaderboard nicht getestet.
FineBooks will weiterhin neue Modelle zum Leaderboard hinzufügen und anschließend die gesamte gemeinfreie BHL-Sammlung erneut verarbeiten. Von den etwa 300.000 Objekten der Sammlung enthalten nahezu 200.000 Metadaten, die auf eine Gemeinfreiheit hinweisen. Das Projekt wird eines der leistungsfähigsten Modelle verwenden, um dieses Material zu verarbeiten, und den erzeugten Text als ersten FineBooks-Datensatz veröffentlichen. Die Datensätze, Verarbeitungspipelines und unterstützenden Modelle, die entwickelt werden, sollen dabei offen geteilt werden.