OpenAIは、決定用API（Decisions API）を一般ユーザーおよび開発者向けに初めて提供開始したと発表した。この動きは、近年TypeSafe社とその「Jev」として知られるモデルが優勢を占めてきた、超高速かつ低コストなAIの急速に成長する市場への正式参入を意味する。
このクラスのディープラーニングモデルは、超高性能な分類器として機能する。ユーザーは複数の選択肢の中から特定の選択肢を超高速で選ぶことができ、下された決定に対する確信度の評価も提供される。ソフトウェア開発者は、これらの決定モデル（システム1システムとも呼ばれる）が、多くの業務ワークフローにおいて、大規模言語モデル（LLM）を非常に低コストかつ大幅に短い応答時間で代替できることに気づいている。
ChatGPTからDecisions APIへ
OpenAIのAPIプロダクト担当であるニコング・ハンダ（Nikung Handa）氏は、同社のチームがJevモデルの大きな成功に注目し、自社製代替モデルの開発を急いだたと説明した。ゼロから専用の決定モデルを構築する代わりに、チームは推論プロセスの加速と運用コストの削減のために「ChatGPT Luna」モデルを再構築することを選択した。
ハンダ氏は、Decisions APIにおける最大の改良点は、応答時間を1〜3秒の範囲から100〜180ミリ秒へと短縮したことであると指摘した。同社は将来的にはこの目的のために完全に特化したモデルのトレーニングを行う可能性があるものの、現時点では調整されたLunaバージョンでも十分に効率よく目的を果たしている。
可用性と実用的な用途
同社は、開発者向けカンファレンスで最初に発表されたこのAPIがすべての顧客に利用可能になったと発表し、新しい音声・視覚機能の追加や、世界中でのレイテンシ短縮を保証するための推論リソースの地理的な分散も行った。初期テストでは、Box、Datadog、Ramp、Speakなどの企業が新しいAPIを使用して処理効率を向上させた。言語学習ツールの構築を専門とするSpeak社では、アクション間のタイムラグを1.4秒からわずか0.13秒に短縮することに成功した。
パフォーマンス基準と市場での競争
パフォーマンスの測定値はワークロードの性質によって異なる。AIM System One IndexやArtificial Analysis Decision Indexなどの指標ではD1 UltraやElephant-1といった他のモデルが上位を占める一方、JevモデルとOpenAIのAPIは、PacManのようなプレッシャー下での意思決定速度を測定するゲームテストを含む様々なテストベンチマークに従って、上位の順位を争っている。
競争上の優位性に関して、OpenAIの担当者は、同社のAPIがマルチモーダル性、特に画像分類や視覚的出力の高精度かつ信頼性の高い処理において優位性を持っていると考えている。チームは、APIを介して個々のビデオフレームを直接処理するために、応答時間をさらに短縮して60ミリ秒の限界に近づけることを目指している。