Os resultados da primeira fase do projeto FineBooks mostram que os modelos abertos de reconhecimento óptico de caracteres (OCR) já são capazes, na maioria dos casos de uso, de extrair textos de livros históricos com uma precisão que torna prática a reprocessamento de grandes coleções de livros em domínio público. Ao mesmo tempo, porém, os resultados revelam limitações importantes relacionadas à preservação das características históricas do texto, à compatibilidade das saídas com sistemas de bibliotecas e ao tratamento de tipos de documentos e escritas que não foram incluídos na avaliação.
O projeto é uma colaboração entre a Hugging Face e a EleutherAI e tem dois objetivos: testar se os modelos OCR abertos atuais são suficientemente precisos, rápidos e baratos para processar livros históricos em grande escala e, em seguida, reprocessar coleções de livros em domínio público e publicar os textos aprimorados como conjuntos de dados abertos. Em sua primeira fase, o projeto escolheu a Biodiversity Heritage Library (BHL), uma coleção global que reúne mais de 300 mil documentos históricos sobre história natural, com mais de 64 milhões de páginas de conhecimento científico.
Teste baseado em 2.165 páginas documentadas
O FineBooks lançou o FineBooks BHL OCR Leaderboard, além do conjunto de dados de referência finebooks/bhl-impact-gt e da ferramenta de avaliação finebooks/bhl-ocr-eval. A tabela compara 14 modelos OCR de pesos abertos e licenciados sob licenças que permitem a reutilização, de modo que possam ser executados em hardware próprio, sem chaves de API ou taxas por página.
A avaliação baseou-se em transcrições corrigidas por especialistas nos projetos IMPACT e BHL-Europe entre 2011 e 2012. Esse material inclui 2.165 páginas de seis volumes, nos idiomas inglês, francês, alemão e latim, com um nível de precisão de aproximadamente um erro a cada dois mil caracteres. Essas transcrições foram reconstruídas em um conjunto de dados moderno que vincula cada imagem digitalizada ao texto correspondente, aproveitando a disponibilidade de toda a coleção BHL para download em massa por meio do AWS Open Data.
O que a tabela mede?
A métrica principal baseia-se na taxa de erro de caracteres (CER), que calcula substituições, exclusões e inserções em comparação com o texto correto. Para simplificar a apresentação, a taxa foi convertida em porcentagem de precisão; quando o CER é de 0,024, isso significa o reconhecimento correto de 97,6% dos caracteres.
A tabela não se limita a esse indicador: ela também apresenta duas versões do CER, uma legível e outra diplomática, que preserva diferenças históricas como o s longo «ſ». Mede ainda a recuperação das palavras que realmente estão presentes na página, a proporção de texto excedente que não aparece na página e a taxa de repetição que ocorre quando o modelo continua reproduzindo o texto até atingir o limite de tokens. As páginas que entram em um ciclo de repetição são excluídas de alguns dos demais resultados; portanto, a taxa de repetição deve ser analisada em conjunto com as pontuações de precisão.
Modelos precisos com baixo custo operacional
De acordo com a amostra publicada dos resultados, o modelo dots.mocr ficou em primeiro lugar, com precisão de leitura de 97,6%, seguido por OvisOCR2, com 96,9%, e PaddleOCR-VL-1.6, com 96,1%. O olmOCR-2 registrou 95,7%, o LightOnOCR-2, 95,1%, e o Qwen3.5-9B, 94,9%, enquanto o desempenho do DeepSeek-OCR chegou a 93,8%.
- O custo de processamento de mil páginas usando o Hugging Face Jobs foi de aproximadamente 1,94 dólar para o modelo dots.mocr.
- O custo foi de 0,46 dólar para o OvisOCR2, 0,34 dólar para o PaddleOCR-VL-1.6 e 0,45 dólar para o olmOCR-2.
- O Qwen3.5-9B registrou um custo de 0,89 dólar por mil páginas.
O Hugging Face Jobs executa a tarefa por meio de um único comando que inicia uma unidade de processamento gráfico, executa o modelo no conjunto de dados e, depois, encerra o ambiente. Cada execução também fixa a versão do modelo, a imagem do contêiner e a versão do script, permitindo reproduzir os resultados e adicionar novos modelos à tabela com uma única tarefa.
Os modelos são suficientes para uso prático?
Para conjuntos de dados usados no treinamento de modelos de linguagem, os autores do projeto consideram que, em geral, sim. Os textos em domínio público representam uma grande fonte de treinamento, mas seu valor depende da qualidade. O artigo observa que o projeto Talkie constatou que um modelo de linguagem treinado com textos extraídos por OCR aprendeu com uma eficiência de 30% da eficiência de um modelo treinado com transcrições humanas dos mesmos livros. O Common Pile, lançado pela EleutherAI e seus colaboradores, também inclui cerca de 300 mil livros em domínio público cujo texto foi extraído por linhas de processamento OCR mais antigas, o que torna o reprocessamento com modelos melhores uma melhoria significativa nos conjuntos de treinamento abertos.
Quanto à substituição das linhas OCR antigas em bibliotecas, isso depende da infraestrutura técnica necessária. Os sistemas tradicionais geralmente produzem arquivos ALTO XML que fornecem coordenadas em nível de palavra, enquanto os novos modelos produzem Markdown ou texto simples e, às vezes, coordenadas de regiões de texto, mas não fornecem coordenadas de palavras. Por isso, as bibliotecas não podem necessariamente inserir o novo texto diretamente na infraestrutura existente.
Os modelos também ainda não parecem suficientes para uma transcrição acadêmica precisa. O problema principal nem sempre é a leitura incorreta da página, mas o fato de o modelo atualizar silenciosamente o s longo, ligaturas tipográficas e outras características históricas. Os autores do artigo consideram que um ajuste fino especializado pode resolver essas limitações.
Limitações da avaliação e próximos passos
Os resultados abrangem apenas quatro idiomas e seis volumes escritos em fontes da família antiqua. Portanto, não podem ser generalizados para a escrita alemã Fraktur, sistemas de escrita não latinos, idiomas não europeus ou manuscritos. O projeto também se concentra deliberadamente em livros, que são visualmente mais regulares do que jornais, revistas e materiais arquivísticos, e a tabela não testa páginas com várias colunas ou elementos complexos.
O FineBooks pretende continuar adicionando novos modelos à tabela e, em seguida, reprocessar toda a coleção BHL em domínio público. Entre cerca de 300 mil itens da coleção, aproximadamente 200 mil possuem dados que indicam que estão em domínio público. O projeto usará um dos modelos avançados para processar esses materiais e publicará o texto resultante como o primeiro conjunto de dados do FineBooks, compartilhando abertamente os conjuntos de dados, as linhas de processamento e os modelos auxiliares que serão desenvolvidos.