Treinar um modelo de linguagem com dados adicionais após o ponto de desempenho máximo, levando à degradação do desempenho nesta experiência.
Um experimento publicado no Hugging Face mostra que um modelo com 0,9 milhão de parâmetros atingiu o pico de desempenho quando treinado com 20 bilhões de tokens, antes de retroceder gradualmente com a continuidade do treinamento até 180 bilhões de tokens. Os resultados sugerem uma faixa prática entre 22 mil e 30 mil tokens por parâmetro para modelos da categoria muito pequena, com a necessidade de avaliação antes de aumentar o orçamento.