Компания OpenAI объявила о предоставлении доступа к интерфейсу программирования приложений Decisions API широкому кругу пользователей и разработчиков впервые, что знаменует собой официальный выход на растущий рынок сверхбыстрого и недорогого искусственного интеллекта, в котором доминировали в последнее время такие стартапы, как TypeSafe со своей известной моделью Jev.
Этот класс моделей глубокого обучения работает в качестве высокоэффективных классификаторов: они позволяют пользователям выбирать конкретный вариант из набора опций с молниеносной скоростью, выдавая при этом оценку достоверности принятого решения. Разработчики программного обеспечения обнаружили, что эти модели принятия решений, или так называемые системы первого уровня (System One), способны заменить большие языковые модели во многих рабочих процессах, обеспечивая при этом чрезвычайно низкую стоимость и значительно меньшую задержку.
От ChatGPT к Decisions API
Никунд Ханда, руководитель отдела продуктов для API в OpenAI, пояснил, что его команда заметила огромный успех модели Jev и поспешила разработать собственную альтернативу. Вместо создания специализированной модели принятия решений с нуля, команда перепрофилировала модель ChatGPT Luna для ускорения инференса и снижения операционных затрат.
Ханда отметил, что ключевым улучшением в Decisions API стало сокращение времени отклика с диапазона от одной до трех секунд до 100–180 миллисекунд. Хотя в будущем компания может перейти к обучению полностью специализированных для этой цели моделей, модифицированная версия Luna эффективно справляется с задачей уже сейчас.
Доступность и практическое применение
Компания объявила о доступности API для всех клиентов после его первого анонса на конференции разработчиков, добавив новые аудио- и визуальные функции, а также распределив вычислительные ресурсы для инференса по всему миру в целях снижения задержки. В ходе предварительного тестирования такие компании, как Box, Datadog, Ramp и Speak, использовали новый API для повышения эффективности обработки данных; в частности, компания Speak, специализирующаяся на разработке инструментов для изучения языков, смогла сократить временной интервал между действиями с 1,4 секунды всего до 0,13 секунды.
Стандарты производительности и рыночная конкуренция
Показатели производительности различных моделей принятия решений различаются в зависимости от характера рабочих нагрузок. В то время как такие индексы, как AIM System One Index и Artificial Analysis Decision Index, возглавляют такие модели, как D1 Ultra и Elephant-1, модель Jev и API от OpenAI продолжают конкурировать на лидирующих позициях по данным различных бенчмарков, включая тесты на скорость принятия решений в условиях стресса на примере таких игр, как PacMan.
Говоря о конкурентных преимуществах, руководство OpenAI считает, что их интерфейс обладает превосходством в мультимодальности, особенно в классификации изображений и обработке визуальных результатов с высокой точностью и надежностью. Команда также стремится еще больше сократить время отклика до 60 миллисекунд для обработки отдельных видеокадров напрямую через API.