Sam Altman, PDG d'OpenAI, a révélé que l'entreprise était sur le point de prendre une décision stratégique modifiant le modèle de tarification de ses prochains modèles, ayant envisagé d'abolir le système de tarification basé sur les jetons (Tokens) pour le remplacer par un système de frais fixes par tâche (Flat-fee per job). Le développeur aurait dû envoyer la requête (Prompt) et l'entreprise se serait chargée de déterminer le prix final de l'opération, un modèle similaire au mécanisme de facturation des services de cloud computing tels qu'AWS.
Pourquoi les développeurs ont-ils rejeté ce changement ?
Altman a expliqué lors de son intervention dans le podcast "Cheeky Pint" que l'entreprise était revenue sur cette mesure après des consultations avec les développeurs, l'idée ayant reçu des réactions extrêmement négatives. Les développeurs ont exprimé un besoin urgent de comprendre comment les coûts sont calculés, affirmant qu'ils ont besoin de savoir exactement ce pour quoi ils paient.
Le problème réside dans le fait que les développeurs comptent actuellement sur le suivi des jetons d'entrée et de sortie pour gérer leurs budgets et estimer les coûts de l'expansion de l'utilisation des modèles. Sans ce détail, il deviendrait impossible de prédire les coûts, ce qui suscite les craintes des développeurs quant à la possibilité de faire face à des coûts injustifiés ou obscurs à long terme.
Transparence contre coût
Dans un paradoxe frappant, Altman a souligné que les développeurs qu'il a consultés se sont montrés disposés à payer des montants plus élevés pour maintenir le système de tarification par jetons, tant qu'il leur offre la transparence et la prévisibilité. Altman a ajouté : "Les développeurs préfèrent payer plus pour obtenir une unité de mesure claire et tangible, plutôt qu'un système de tarification opaque qui suscite des doutes sur la manière dont le coût est calculé".
Défis de la mesure de l'utilisation de l'intelligence artificielle
Altman a admis que le système des "jetons" n'est pas parfait, le qualifiant de "fausse unité" (Fake unit) qui ne reflète pas précisément la valeur réelle ou l'effort de calcul déployé, tout en reconnaissant que l'entreprise n'a pas encore trouvé de meilleure alternative. Il a souligné que les développeurs font actuellement face à une charge cognitive supplémentaire lorsqu'ils doivent choisir entre des modèles moins chers et des modèles plus performants, ce qui n'ajoute aucune valeur réelle au produit final.
Ce recul intervient alors qu'OpenAI continue de s'appuyer sur le système de tarification par jetons, tandis que l'entreprise cherche à relever les défis liés aux coûts d'inférence (Inference), qui diminuent périodiquement, tout en continuant à rechercher un modèle de tarification plus juste et plus transparent pour les développeurs d'applications d'intelligence artificielle et d'agents intelligents (AI Agents).