La société OpenAI a annoncé la mise à disposition de l'interface de programmation d'applications de décision (Decisions API) au grand public et aux développeurs pour la première fois, dans une démarche qui représente une entrée officielle sur le marché en croissance de l'intelligence artificielle ultra-rapide et à faible coût, un domaine récemment dominé par des startups telles que TypeSafe et son modèle connu sous le nom de Jev.
Cette catégorie de modèles d'apprentissage profond repose sur le rôle de classifieurs ultra-puissants ; elle permet aux utilisateurs de choisir une option spécifique parmi un ensemble d'options à une vitesse fulgurante tout en fournissant une évaluation du degré de confiance dans la décision prise. Les développeurs de logiciels ont constaté que ces modèles de décision, ou ce que l'on appelle les systèmes de niveau un (System One), sont capables de remplacer les grands modèles de langage dans de nombreux flux de travail opérationnels, à un coût très faible et avec un temps de latence bien inférieur.
De ChatGPT à l'API de décision
Nikung Handa, responsable des produits pour le secteur des API chez OpenAI, a expliqué que son équipe a remarqué le grand succès du modèle Jev et s'est empressée de développer une alternative propre à l'entreprise. Plutôt que de construire un modèle de décision conçu sur mesure à partir de zéro, l'équipe s'est appuyée sur la reconfiguration du modèle ChatGPT Luna pour accélérer les opérations d'inférence et réduire les coûts opérationnels.
Handa a souligné que l'amélioration la plus notable de la Decisions API réside dans la réduction du temps de latence, qui est passé d'une période comprise entre une et trois secondes à une fourchette de 100 à 180 millisecondes. Bien que l'entreprise puisse recourir ultérieurement à l'entraînement de modèles entièrement dédiés à cette fin, la version modifiée de Luna remplit actuellement son rôle avec efficacité.
Disponibilité et usages pratiques
L'entreprise a annoncé la disponibilité de l'interface pour tous les clients après l'avoir dévoilée pour la première fois lors de la conférence des développeurs, tout en ajoutant de nouvelles fonctionnalités audio et visuelles, et en répartissant géographiquement les ressources d'inférence pour garantir la réduction de la latence dans le monde entier. Lors des tests préliminaires, des entreprises telles que Box, Datadog, Ramp et Speak ont utilisé la nouvelle interface de programmation d'applications pour améliorer l'efficacité du traitement ; ainsi, la société Speak, spécialisée dans la création d'outils d'apprentissage des langues, a réussi à réduire l'intervalle de temps entre les actions de 1,4 seconde à seulement 0,13 seconde.
Normes de performance et concurrence sur le marché
Les mesures de performance varient entre les différents modèles de décision selon la nature des charges de travail ; alors que des indices tels que l'AIM System One Index et l'Artificial Analysis Decision Index placent en tête d'autres modèles tels que D1 Ultra et Elephant-1, le modèle Jev et l'interface d'OpenAI se disputent les premières places selon divers benchmarks de test, y compris les tests de jeux qui mesurent la vitesse de prise de décision sous pression comme le jeu PacMan.
Concernant les avantages compétitifs, les responsables d'OpenAI estiment que leur interface bénéficie d'une supériorité en matière de multimodalité, en particulier dans la classification d'images et le traitement des sorties visuelles avec une précision et une fiabilité élevées, l'équipe aspirant à réduire encore le temps de latence pour atteindre environ 60 millisecondes pour le traitement direct d'images vidéo individuelles via l'API.