Sam Altman, CEO da OpenAI, revelou que a empresa estava prestes a tomar uma decisão estratégica para alterar o modelo de preços de seus próximos modelos, tendo considerado cancelar o sistema de preços baseado em tokens e substituí-lo por um sistema de taxa fixa por tarefa. Supostamente, o desenvolvedor enviaria o prompt e a empresa determinaria o preço final da operação, um modelo semelhante ao mecanismo de faturamento em serviços de computação em nuvem como a AWS.
Por que os desenvolvedores rejeitaram essa mudança?
Altman explicou durante uma conversa no podcast "Cheeky Pint" que a empresa recuou nessa medida após realizar consultas com desenvolvedores, onde a ideia encontrou reações extremamente negativas. Os desenvolvedores expressaram uma necessidade urgente de entender como os custos são calculados, enfatizando que precisam saber exatamente pelo que estão pagando.
O problema reside no fato de que os desenvolvedores atualmente dependem do rastreamento de tokens de entrada e saída para gerenciar seus orçamentos e estimar os custos de expansão do uso dos modelos. Sem esse detalhamento, torná-se impossível prever custos, o que gera preocupações entre os desenvolvedores sobre a possibilidade de enfrentar custos injustificados ou obscuros a longo prazo.
Transparência versus Custo
Em um paradoxo notável, Altman apontou que os desenvolvedores consultados expressaram disposição para pagar valores mais altos para manter o sistema de preços de tokens, desde que ele lhes proporcionasse transparência e previsibilidade. Altman acrescentou: "Os desenvolvedores preferem pagar mais para obter uma unidade de medida clara e tangível, em vez de um sistema de preços opaco que levanta suspeitas sobre como o custo é calculado".
Desafios na medição do uso de Inteligência Artificial
Altman admitiu que o sistema de "tokens" não é perfeito, descrevendo-o como uma "unidade falsa" que não expressa com precisão o valor real ou o esforço computacional despendido, mas reconheceu ao mesmo tempo que a empresa ainda não encontrou uma alternativa melhor. Ele apontou que os desenvolvedores atualmente enfrentam um ônus cognitivo adicional ao escolher entre modelos mais baratos e mais capazes, algo que não agrega valor real ao produto final.
Esse recuo ocorre em um momento em que a OpenAI continua a depender do sistema de preços de tokens, enquanto a empresa busca enfrentar os desafios relacionados aos custos de inferência, que diminuem periodicamente, com a contínua busca por um modelo de preços mais justo e transparente para desenvolvedores de aplicativos de inteligência artificial e agentes inteligentes.