Termos
Inferência de IA: raciocínio de inteligência artificial
A inferência de IA refere-se à execução de modelos de inteligência artificial treinados para produzir resultados em resposta a solicitações. Esse uso aparece em serviços de infraestrutura de nuvem, servidores empresariais, data centers e chips e sistemas projetados para acelerar o processamento das saídas.
Inferência de IA é a etapa de execução de um modelo de inteligência artificial treinado para processar uma solicitação e produzir saídas. Ela difere do treinamento do modelo, que se concentra na construção de suas capacidades usando dados e computação.
Onde a inferência é usada?
- Serviços de infraestrutura: empresas como a Modal Labs fornecem recursos para executar modelos e cargas de trabalho que exigem muita computação sem gerenciar os servidores diretamente.
- Chips e sistemas especializados: a Etched se concentra em sistemas de hardware destinados a acelerar a inferência e reduzir seu custo e tempo em comparação com as alternativas mencionadas pela empresa.
- Data centers e unidades de GPU: a Crusoe vende capacidade computacional para executar modelos de inteligência artificial, além de alugar espaço e unidades de GPU.
- Servidores empresariais: a Sharp começou a aceitar pedidos de servidores voltados para empresas, entidades governamentais e operadores de data centers, incluindo entre os usos anunciados o treinamento e a inferência.
Por que o processo exige infraestrutura especializada?
A inferência depende de recursos computacionais como unidades de processamento gráfico, servidores, memória, armazenamento, redes, energia e refrigeração. As fontes mostram que os provedores desses serviços enfrentam simultaneamente uma demanda crescente e custos elevados associados à compra ou ao aluguel de capacidade computacional, o que pode pressionar as margens de lucro.
Inferência em produtos e infraestrutura
As empresas competem nesse setor em mais de um nível: projetando chips personalizados, construindo servidores personalizáveis, fornecendo plataformas de nuvem e criando data centers capazes de operar grandes quantidades de unidades de GPU. Portanto, a inferência de IA não se limita ao próprio modelo, mas exige um ecossistema operacional completo.
O que deve ser avaliado?
- Tempo de resposta: a rapidez com que as saídas são produzidas após o envio da solicitação.
- Custo: o custo de fornecer capacidade computacional, energia, refrigeração e operação.
- Escalabilidade: a capacidade da infraestrutura de atender a um número maior de solicitações ou modelos.
- Confiabilidade: a estabilidade dos servidores, da plataforma e das redes durante a operação.
Limitações das informações disponíveis
As fontes disponíveis não incluem uma comparação uniforme entre todos os provedores de inferência em termos de preços, desempenho ou participação de mercado. Além disso, alguns números apresentados referem-se a metas, planos e financiamentos anunciados e não representam necessariamente resultados operacionais alcançados.