OpenAI hat bekannt gegeben, dass die Decisions API (Entscheidungs-Programmierschnittstelle) zum ersten Mal für alle Nutzer und Entwickler verfügbar ist. Dies ist ein Schritt, der den offiziellen Einstieg in den wachsenden Markt für ultraschnelle und kostengünstige künstliche Intelligenz darstellt, ein Bereich, der kürzlich von Start-ups wie TypeSafe und deren bekanntem Modell (Jev) dominiert wurde.
Diese Kategorie von Deep-Learning-Modellen fungiert als hochgradig leistungsstarke Klassifizierungsmodelle; sie ermöglichen es Nutzern, extrem schnell eine bestimmte Option aus einer Gruppe von Optionen auszuwählen und gleichzeitig eine Bewertung des Konfidenzniveaus für die getroffene Entscheidung abzugeben. Softwareentwickler haben festgestellt, dass diese Entscheidungsmodelle oder sogenannte System-One-Systeme in der Lage sind, Large Language Models in vielen operativen Arbeitsabläufen zu extrem geringen Kosten und mit einer deutlich geringeren Latenz zu ersetzen.
Von ChatGPT zur Decisions API
Nikunj Handa, Produktverantwortlicher für das API-Geschäft bei OpenAI, erklärte, dass sein Team den großen Erfolg des Jev-Modells bemerkte und sich beeilte, eine eigene Alternative des Unternehmens zu entwickeln. Anstatt von Grund auf ein maßgeschneidertes Entscheidungsmodell zu entwickeln, beschloss das Team, das ChatGPT Luna-Modell (ChatGPT Luna) neu zu konfigurieren, um Inferenzprozesse zu beschleunigen und die Betriebskosten zu senken.
Handa wies darauf hin, dass die wichtigste Verbesserung bei der Decisions API darin bestand, die Latenz von einer Spanne zwischen einer und drei Sekunden auf 100 bis 180 Millisekunden zu verkürzen. Obwohl das Unternehmen später möglicherweise vollständig dedizierte Modelle für diesen Zweck trainiert, erfüllt die modifizierte Luna-Version ihren Zweck derzeit effizient.
Verfügbarkeit und praktische Anwendungen
Das Unternehmen gab bekannt, dass die Schnittstelle allen Kunden zur Verfügung steht, nachdem sie zum ersten Mal auf der Entwicklerkonferenz vorgestellt wurde. Dabei wurden neue Audio- und visuelle Funktionen hinzugefügt und die Inferenzressourcen geografisch verteilt, um eine Verkürzung der Latenz weltweit zu gewährleisten. Während erster Tests nutzten Unternehmen wie Box, Datadog, Ramp und Speak die neue Programmierschnittstelle zur Steigerung der Verarbeitungseffizienz; so konnte beispielsweise Speak, ein auf die Entwicklung von Sprachlernwerkzeugen spezialisiertes Unternehmen, das Zeitintervall zwischen Aktionen von 1,4 Sekunden auf nur noch 0,13 Sekunden verkürzen.
Leistungsstandards und Marktwettbewerb
Die Leistungsmessungen zwischen verschiedenen Entscheidungsmodellen variieren je nach Art der Arbeitslasten; während Benchmarks wie der AIM System One Index und der Artificial Analysis Decision Index andere Modelle wie D1 Ultra und Elephant-1 anführen, konkurrieren das Jev-Modell und die Schnittstelle von OpenAI je nach den verschiedenen Testdatensätzen weiterhin auf vorderen Plätzen, einschließlich Spieletests, die die Entscheidungsfindungsgeschwindigkeit unter Druck wie beim Spiel PacMan messen.
Zu den Wettbewerbsvorteilen sind die Verantwortlichen von OpenAI der Ansicht, dass ihre Schnittstelle Vorteile bei der Multimodalität bietet, insbesondere bei der Bildklassifizierung und der Verarbeitung visueller Ausgaben mit hoher Genauigkeit und Zuverlässigkeit. Das Team strebt zudem an, die Latenz weiter zu verkürzen, um die Marke von 60 Millisekunden zu erreichen, damit einzelne Videoframes direkt über die Programmierschnittstelle verarbeitet werden können.