AI Inference Cost

GitHub erklärt, wie die Kosten von Copilot gesenkt wurden, ohne die Qualität der Programmieraufgaben zu beeinträchtigen

GitHub erklärt, dass eine Verringerung der Tokenzahl pro Aufruf nicht zwangsläufig die Kosten der gesamten Aufgabe senkt, da das Modell dadurch möglicherweise Befehle erneut ausführt oder gelöschte Ausgaben abruft. Das Unternehmen stellt vier Verbesserungen in Copilot vor: die Komprimierung wiederholter Ausgaben, die Entfernung unnützlicher Formatierungen, die Kürzung von Anweisungen und die direkte Übergabe der Ergebnisse von Hintergrundaufgaben.