As equipes técnicas que gerenciam cargas de trabalho de IA na plataforma Kubernetes enfrentam pressões constantes à medida que os clusters de GPU ficam lotados e as filas de tarefas em lote (batch-jobs) aumentam. Expandir a infraestrutura de GPU costuma ser a opção mais rápida, mas o crescimento das filas pode refletir falhas no agendamento, na capacidade de serviço do modelo ou na eficiência da escolha entre hardware e diferentes modelos. Antes de tomar a decisão de comprar e provisionar mais recursos, as equipes devem definir métricas de sucesso, prazos e o custo real de entrega dos resultados.
Diferenciando o uso da produtividade real
O desafio não se limita apenas a executar recursos, pois uma GPU alocada, uma GPU ocupada e uma unidade de trabalho que gera resultados valiosos são conceitos completamente diferentes. Compreender a relação entre esses estados permite que as equipes utilizem a capacidade atual de forma mais eficaz.
- Definição de prazos: Alguns serviços, como chatbots, exigem um serviço de resposta contínuo 24 horas por dia, enquanto as tarefas de avaliação de modelos estão vinculadas a prazos internos de lançamento específicos.
- Metas de qualidade: Cada serviço de inferência deve possuir um limite de qualidade definido e uma meta de tempo de resposta, uma vez que obter uma resposta completa não significa necessariamente atingir o objetivo exigido pelo cliente.
Uso de agendamento flexível para reduzir picos de demanda
A flexibilidade no agendamento ajuda a aliviar as restrições sem a necessidade imediata de expandir a infraestrutura. Por exemplo, se quatro unidades de GPU estiverem disponíveis para tarefas em lote por um período específico, e houver quatro tarefas que exigem duas unidades cada, executá-las simultaneamente exigiria oito unidades; enquanto o escalonamento dos prazos e o agendamento de duas tarefas primeiro e, em seguida, das duas últimas, permite concluir o trabalho integralmente no prazo definido e usando os mesmos recursos disponíveis.
As equipes se beneficiam de ferramentas como o Kueue para fornecer pontos de controle de admissão e políticas, desde que os prazos e requisitos sejam definidos e representados com precisão para evitar a necessidade de iniciar tarefas precocemente e interrompê-las posteriormente.
Medindo a capacidade de serviço sustentável e testes de desempenho
O aumento na atividade das GPUs não reflete o volume de produtividade adicional disponível. Portanto, medir a capacidade sustentável requer a realização de um teste de carga representativo, mantendo o hardware e as configurações de serviço fixos enquanto se altera a taxa de demanda para atingir a maior taxa sustentável que mantenha os requisitos de qualidade e as taxas de latência aceitáveis.
Também é necessário vincular os dados de custo derivados de ferramentas como o OpenCost aos resultados e serviços reais, calculando o custo por resultado alcançado e verificado, para chegar a um modelo operacional que atinja o equilíbrio necessário entre custo e eficiência.
O que essa abordagem muda na prática?
O foco das equipes muda de apenas rastrear as taxas de consumo de hardware para avaliar a eficiência dos gastos vinculados a resultados de negócios reais. Essa mudança ajuda a evitar investimentos de capital desnecessários em hardware adicional e impulsiona a melhoria da eficiência dos modelos e das configurações de agendamento antes de solicitar mais recursos.