Компания TypeSafe AI представила модель Jev — систему искусственного интеллекта на основе архитектуры Transformer, которая, однако, не относится к категории больших языковых моделей и не создаёт текст для пользователя. Вместо этого модель возвращает вероятности того, что компания называет «калиброванными решениями», после того как разработчик заранее определяет требуемые типы выходных данных.
Компанию возглавляет Diogo Almeida, бывший исследователь OpenAI, участвовавший в создании ChatGPT и внёсший вклад в разработку технологии обучения с подкреплением на основе обратной связи от людей (RLHF). По словам Almeida, модели искусственного интеллекта в значительной степени сосредоточились на улучшении работы с человеческим языком, тогда как для автоматизации программного обеспечения нужны более дисциплинированные выходные данные, пригодные для непосредственного использования компьютером.
Более высокая скорость и меньшая стоимость
TypeSafe AI утверждает, что отказ от генерации языка делает Jev быстрым и дешёвым, а также снижает вероятность галлюцинаций, поскольку пользователь заранее определяет возможные результаты. Компания не взимает плату за выходные токены, тогда как входные токены считаются миллиардами, а не миллионами, согласно исходному материалу.
Модель быстро привлекла внимание разработчиков — настолько, что её интерфейс прикладного программирования временно прекратил обслуживать пользователей из-за высокого спроса. В тесте Vercel по классификации команд для проверки безопасности замена модели OpenAI на Jev дала результаты в пять–18 раз быстрее и с более высокой точностью, по словам инженера-программиста Pranit Sharma.
В другом тесте по классификации деловых электронных писем Nikhil Mudholkar, технический директор Bryo AI, обнаружил, что Gemini оказался немного точнее, но стоил в 10–20 раз дороже. Mudholkar счёл возвращаемые Jev показатели уверенности более важными для автоматизации, поскольку они предоставляют вероятность, которую можно использовать для решения о том, следует ли выполнять определённое действие или игнорировать его.
Что меняется на практике?
Эти варианты использования показывают, что Jev не обязательно стремится заменить языковые модели во всех задачах. Он может выполнять классификацию, направлять запросы к подходящей модели, отслеживать действия агентов искусственного интеллекта или выявлять попытки обойти ограничения. В таких сценариях высокая скорость и низкая стоимость могут сделать мониторинг в реальном времени более практичным.
Однако использование вероятностей не устраняет необходимость в человеческом суждении или рабочих правилах. Armin Ronacher, технический директор Earendil, отметил, что пользователь должен определить, как обращаться с показателем вроде 50% или 95%, то есть установить чёткие пороги до превращения выходных данных в автоматические действия. Таким образом, часть ответственности за работу с неопределённостью переносится с модели на проектирование приложения.
Нераскрытая архитектура и ожидаемая конкуренция
TypeSafe AI не раскрыла подробности архитектуры Jev, а внешние наблюдатели предполагают, что модель может быть построена поверх языковой модели с открытыми весами; компания не подтверждала это в материале. TypeSafe AI описывает модель как «модель System One», сосредоточенную на интуиции и выборе подходящей задачи, и заявляет, что она обучалась исключительно на синтетических данных с использованием технологии, которую компания называет «обучением с подкреплением на основе калиброванных решений».
В публикации certi.news отмечается, что значение Jev заключается не только в том, что это новая модель, но и в представлении искусственного интеллекта как специализированного слоя принятия решений внутри программного обеспечения, а не как общего разговорного интерфейса. Если приведённые результаты тестов верны, такой подход может подходить для повторяющихся задач с определёнными выходными данными. Однако опубликованные сравнения ограничены и сами по себе недостаточны для оценки производительности в разных областях или при разных рабочих нагрузках; кроме того, непрозрачность архитектуры и способа создания данных оставляет открытыми вопросы о проверяемости и масштабировании.
TypeSafe AI планирует создавать другие версии модели в разных режимах, а Ronacher ожидает появления конкурентов после того, как практическая польза моделей такого типа станет очевидной.