Termes
Distillation des modèles : qu’est-ce que c’est ?
La distillation des modèles est une technique dans laquelle un modèle étudiant apprend à partir des sorties d’un modèle davantage entraîné. Elle peut être utilisée légitimement pour réduire les coûts d’entraînement, ou de manière abusive pour extraire les capacités d’un modèle via des interfaces de programmation.