AI Inference Cost

GitHub explique comment elle a réduit le coût de Copilot sans sacrifier la qualité des tâches de programmation

GitHub explique que réduire le nombre de tokens à chaque appel ne signifie pas nécessairement diminuer le coût de l’ensemble de la tâche, car cela peut amener le modèle à réexécuter des commandes ou à récupérer des sorties supprimées. L’entreprise présente quatre améliorations de Copilot : compression des sorties répétitives, suppression des formats inutiles, raccourcissement des instructions et transmission directe des résultats des tâches en arrière-plan.