Les résultats de la première phase du projet FineBooks montrent que les modèles ouverts de reconnaissance optique de caractères (OCR) sont désormais capables, dans la plupart des cas d’utilisation, d’extraire le texte de livres historiques avec une précision qui rend pratique le retraitement de vastes collections de livres du domaine public. Mais les résultats révèlent également d’importantes limites concernant la préservation des caractéristiques historiques du texte, la compatibilité des sorties avec les systèmes de bibliothèques et la gestion des types de documents et des écritures qui n’ont pas été inclus dans l’évaluation.
Le projet est une collaboration entre Hugging Face et EleutherAI, avec deux objectifs : vérifier si les modèles OCR ouverts actuels sont suffisamment précis, rapides et peu coûteux pour traiter les livres historiques à grande échelle, puis retraiter des collections de livres appartenant au domaine public et publier les textes améliorés sous forme de jeux de données ouverts. Pour sa première phase, le projet a choisi la Biodiversity Heritage Library (BHL), une collection mondiale comprenant plus de 300 000 documents historiques consacrés à l’histoire naturelle, soit plus de 64 millions de pages de connaissances scientifiques.
Un test fondé sur 2 165 pages documentées
FineBooks a publié le tableau de classement FineBooks BHL OCR Leaderboard, ainsi que le jeu de données de référence finebooks/bhl-impact-gt et l’outil d’évaluation finebooks/bhl-ocr-eval. Le tableau compare 14 modèles OCR ouverts, à poids ouverts et distribués sous des licences autorisant la réutilisation, de sorte qu’ils peuvent être exécutés sur du matériel privé sans clés API ni frais par page.
L’évaluation s’est appuyée sur des transcriptions corrigées par des experts dans le cadre des projets IMPACT et BHL-Europe entre 2011 et 2012. Ce matériel comprend 2 165 pages provenant de six volumes, en anglais, français, allemand et latin, avec un niveau de précision d’environ une erreur pour deux mille caractères. Ces transcriptions ont été reconstituées dans un jeu de données moderne reliant chaque image numérisée au texte correspondant, en tirant parti de la disponibilité de l’ensemble de la collection BHL pour un téléchargement groupé via AWS Open Data.
Que mesure le tableau de classement ?
La mesure principale repose sur le taux d’erreur de caractères (CER), qui calcule les substitutions, suppressions et insertions par rapport au texte correct. Pour simplifier la présentation, le taux a été converti en pourcentage de précision ; ainsi, lorsque le CER atteint 0,024, cela signifie que 97,6 % des caractères ont été reconnus correctement.
Le tableau ne se limite pas à cet indicateur, puisqu’il présente également deux versions du CER, l’une destinée à la lecture et l’autre diplomatique, qui préserve les différences historiques telles que le s long «ſ». Il mesure aussi le rappel des mots effectivement présents sur la page, la proportion de texte superflu qui n’apparaît pas sur la page et le taux de répétition qui se produit lorsque le modèle reproduit le texte jusqu’à atteindre la limite de jetons. Les pages qui entrent dans une boucle de répétition sont exclues de certains autres résultats ; il convient donc de lire le taux de répétition parallèlement aux scores de précision.
Des modèles précis à faible coût d’exécution
Selon l’échantillon de résultats publié, le modèle dots.mocr arrive en tête avec une précision de lecture de 97,6 %, suivi d’OvisOCR2 avec 96,9 %, puis de PaddleOCR-VL-1.6 avec 96,1 %. olmOCR-2 a obtenu 95,7 %, LightOnOCR-2 95,1 % et Qwen3.5-9B 94,9 %, tandis que les performances de DeepSeek-OCR ont atteint 93,8 %.
- Le coût du traitement de mille pages avec Hugging Face Jobs s’est élevé à environ 1,94 dollar pour le modèle dots.mocr.
- Le coût s’est élevé à 0,46 dollar pour OvisOCR2, 0,34 dollar pour PaddleOCR-VL-1.6 et 0,45 dollar pour olmOCR-2.
- Qwen3.5-9B a enregistré un coût de 0,89 dollar pour mille pages.
Hugging Face Jobs exécute la tâche au moyen d’une seule commande qui démarre une unité de traitement graphique, fait passer le modèle sur le jeu de données, puis arrête l’environnement. Chaque exécution enregistre également la version du modèle, l’image du conteneur et la version du script, ce qui permet de reproduire les résultats et d’ajouter de nouveaux modèles au tableau en une seule tâche.
Les modèles suffisent-ils pour une utilisation réelle ?
Pour les jeux de données utilisés afin d’entraîner les modèles linguistiques, les auteurs du projet estiment que la réponse est généralement oui. Les textes du domaine public constituent une source importante pour l’entraînement, mais leur valeur dépend de leur qualité. L’article indique que le projet Talkie a constaté qu’un modèle linguistique entraîné sur des textes extraits par OCR apprenait avec une efficacité représentant 30 % de celle d’un modèle entraîné sur des transcriptions humaines des mêmes livres. Common Pile, lancé par EleutherAI et ses collaborateurs, comprend également environ 300 000 livres du domaine public dont le texte a été extrait par d’anciennes chaînes de traitement OCR, ce qui fait du retraitement avec de meilleurs modèles une amélioration importante pour les jeux de données d’entraînement ouverts.
En ce qui concerne le remplacement des chaînes OCR anciennes dans les bibliothèques, tout dépend de l’architecture technique requise. Les systèmes traditionnels produisent généralement des fichiers ALTO XML fournissant des coordonnées au niveau des mots, tandis que les nouveaux modèles produisent du Markdown ou du texte brut et, parfois, les coordonnées des zones de texte, mais pas celles des mots. Les bibliothèques ne peuvent donc pas nécessairement intégrer directement le nouveau texte dans l’architecture existante.
Les modèles ne semblent pas encore suffisants pour une transcription académique précise. Le principal problème ne réside pas toujours dans une mauvaise lecture de la page, mais dans le fait que le modèle modernise silencieusement le s long ou les ligatures typographiques, entre autres caractéristiques historiques. Les auteurs de l’article estiment qu’un réglage fin spécialisé pourrait remédier à ces limites.
Limites de l’évaluation et prochaines étapes
Les résultats ne couvrent que quatre langues et six volumes écrits dans des polices de la famille antiqua. Ils ne peuvent donc pas être généralisés à l’écriture allemande Fraktur, aux systèmes d’écriture non latins, aux langues non européennes ou aux manuscrits. Le projet se concentre délibérément sur les livres, qui sont visuellement plus réguliers que les journaux, les magazines et les documents d’archives, et le tableau ne teste pas les pages à plusieurs colonnes ni les éléments complexes.
FineBooks prévoit de continuer à ajouter de nouveaux modèles au tableau, puis de retraiter l’ensemble de la collection publique de la BHL. Parmi les quelque 300 000 éléments de la collection, près de 200 000 comportent des données indiquant qu’ils appartiennent au domaine public. Le projet utilisera l’un des modèles avancés pour traiter ces documents et publiera le texte produit comme premier jeu de données FineBooks, tout en partageant ouvertement les jeux de données, les chaînes de traitement et les modèles auxiliaires qui seront développés.