A OpenAI anunciou a disponibilização da API de Decisão (Decisions API) para o público em geral e desenvolvedores pela primeira vez, em um movimento que representa uma entrada oficial no mercado em crescimento de inteligência artificial ultrarrápida e de baixo custo, uma área recentemente dominada por startups como a TypeSafe e seu modelo conhecido como Jev.
Esta categoria de modelos de aprendizado profundo baseia-se em atuar como classificadores de alta capacidade; permitindo aos usuários escolher uma opção específica entre um conjunto de opções em altíssima velocidade, fornecendo ao mesmo tempo uma avaliação do grau de confiança na decisão tomada. Desenvolvedores de software descobriram que esses modelos de decisão, ou o que é conhecido como sistemas de Nível Um (System One), são capazes de substituir modelos de linguagem de grande escala em vários fluxos de trabalho operacionais, a um custo muito baixo e com um tempo de resposta muito menor.
Do ChatGPT para a interface de decisão
Nikunj Handa, gerente de produtos para o segmento de APIs na OpenAI, explicou que sua equipe observou o grande sucesso do modelo Jev e se apressou em desenvolver uma alternativa própria da empresa. Em vez de construir um modelo de decisão personalizado do zero, a equipe baseou-se na reconfiguração do modelo ChatGPT Luna para acelerar as operações de inferência e reduzir os custos operacionais.
Handa apontou que a melhoria mais destacada na Decisions API foi a redução do tempo de resposta de um período entre um e três segundos para entre 100 e 180 milissegundos. Embora a empresa possa recorrer posteriormente ao treinamento de modelos totalmente dedicados para esse fim, a versão modificada do Luna atende ao propósito com eficiência no momento.
Disponibilidade e usos práticos
A empresa anunciou a disponibilidade da interface para todos os clientes após revelá-la pela primeira vez na conferência de desenvolvedores, com a adição de novos recursos de áudio e visuais, e a distribuição geográfica de recursos de inferência para garantir a redução do tempo de latência em todo o mundo. Durante os testes iniciais, empresas como Box, Datadog, Ramp e Speak utilizaram a nova API para aumentar a eficiência de processamento; onde a Speak, especializada na construção de ferramentas de ensino de idiomas, conseguiu reduzir o intervalo de tempo entre as ações de 1,4 segundo para apenas 0,13 segundo.
Padrões de desempenho e concorrência no mercado
As métricas de desempenho entre diferentes modelos de decisão variam de acordo com a natureza das cargas de trabalho; enquanto índices como o AIM System One Index e o Artificial Analysis Decision Index lideram sobre outros modelos como o D1 Ultra e o Elephant-1, o modelo Jev e a interface da OpenAI competem em posições avançadas de acordo com vários conjuntos de dados de teste, incluindo testes de jogos que medem a velocidade de tomada de decisão sob pressão, como o jogo PacMan.
Sobre as vantagens competitivas, os oficiais da OpenAI acreditam que sua interface possui superioridade em multimodalidade, especialmente na classificação de imagens e processamento de saídas visuais com alta precisão e confiabilidade, com a equipe visando reduzir ainda mais o tempo de resposta para atingir limites de 60 milissegundos para processar quadros de vídeo individuais diretamente através da API.