A empresa TypeSafe AI lançou o modelo Jev, um modelo de inteligência artificial baseado na arquitetura Transformer, mas que não pertence à categoria dos grandes modelos de linguagem nem produz textos para o usuário. Em vez disso, o modelo retorna probabilidades para o que a empresa chama de «decisões calibradas», depois que o desenvolvedor define previamente os tipos de saídas necessárias.
A empresa é liderada por Diogo Almeida, ex-pesquisador da OpenAI que participou da criação do ChatGPT e contribuiu para o desenvolvimento da técnica de aprendizado por reforço com feedback humano (RLHF). Almeida afirma que os modelos de inteligência artificial se concentraram em grande medida em melhorar o tratamento da linguagem humana, enquanto a automação de software precisa de saídas mais disciplinadas e diretamente utilizáveis pelo computador.
Maior velocidade e menor custo
A TypeSafe AI afirma que evitar a geração de linguagem torna o Jev rápido e barato, além de reduzir a possibilidade de alucinações, porque o usuário define previamente os resultados possíveis. A empresa não cobra pelos tokens de saída, enquanto os tokens de entrada são medidos por bilhão, e não por milhão, segundo o material de origem.
O modelo despertou rapidamente o interesse dos desenvolvedores, a ponto de sua interface de programação de aplicações ter interrompido temporariamente o atendimento aos usuários devido à alta demanda. Em um teste realizado pela Vercel para classificar comandos com o objetivo de analisá-los do ponto de vista da segurança, a substituição de um modelo da OpenAI pelo Jev produziu resultados entre cinco e 18 vezes mais rápidos, com maior precisão, segundo o engenheiro de software Pranit Sharma.
Em outro teste para classificar mensagens comerciais de e-mail, Nikhil Mudholkar, diretor técnico da Bryo AI, constatou que o Gemini era ligeiramente mais preciso, mas custava entre 10 e 20 vezes mais. Mudholkar considerou que os níveis de confiança retornados pelo Jev são mais importantes para a automação, porque oferecem uma probabilidade que pode ser usada para decidir se uma ação deve ser executada ou ignorada.
O que muda na prática?
Esses usos mostram que o Jev não pretende necessariamente substituir os modelos de linguagem em todas as tarefas. Ele pode assumir tarefas de classificação, encaminhar solicitações ao modelo adequado, monitorar os efeitos de agentes de inteligência artificial ou detectar tentativas de burlar restrições. Nesses cenários, a velocidade e o baixo custo podem tornar o monitoramento em tempo real mais viável.
Mas depender de probabilidades não elimina a necessidade de julgamento humano ou de regras operacionais. Armin Ronacher, diretor técnico da Earendil, observou que o usuário precisa definir como lidar com uma pontuação como 50% ou 95%, ou seja, estabelecer limiares claros antes de transformar as saídas em ações automatizadas. Assim, parte da responsabilidade de lidar com a incerteza passa do modelo para o design da aplicação.
Arquitetura não divulgada e concorrência esperada
A TypeSafe AI não revelou detalhes da arquitetura do Jev, enquanto observadores externos suspeitam que ele possa ser construído sobre um modelo de linguagem de pesos abertos, algo que a empresa não confirmou no material. A TypeSafe AI descreve o modelo como um «modelo System One» focado na intuição e na escolha da tarefa adequada, e afirma que ele foi treinado exclusivamente com dados sintéticos usando uma técnica que chama de «aprendizado por reforço a partir de decisões calibradas».
Uma análise da certi.news considera que a importância do Jev não está apenas em ser um novo modelo, mas em apresentar a inteligência artificial como uma camada de decisão especializada dentro do software, em vez de uma interface de conversação geral. Se os resultados dos testes mencionados forem confirmados, essa abordagem poderá ser adequada para tarefas repetitivas com saídas definidas. No entanto, as comparações publicadas são limitadas e, por si só, não são suficientes para avaliar o desempenho em diferentes áreas ou cargas de trabalho; além disso, a falta de clareza sobre a arquitetura e o método de produção dos dados deixa questões em aberto sobre a verificabilidade e a escalabilidade.
A TypeSafe AI planeja criar outras versões do modelo em diferentes modalidades, e Ronacher espera o surgimento de concorrentes depois que a utilidade prática desse tipo de modelo ficar mais clara.