AdamW

O treinamento excessivo de modelos de linguagem pequenos prejudica o desempenho após 20 bilhões de tokens

Um experimento publicado no Hugging Face mostra que um modelo com 0,9 milhão de parâmetros atingiu o pico de desempenho quando treinado com 20 bilhões de tokens, antes de retroceder gradualmente com a continuidade do treinamento até 180 bilhões de tokens. Os resultados sugerem uma faixa prática entre 22 mil e 30 mil tokens por parâmetro para modelos da categoria muito pequena, com a necessidade de avaliação antes de aumentar o orçamento.