A plataforma LinkedIn enfrenta um desafio de engenharia colossal: fornecer resultados de pesquisa e recomendações precisos para 1,3 bilhão de membros em todo o mundo em frações de segundo. Com a transição da pesquisa baseada em palavras-chave para a pesquisa em linguagem natural, a dependência de grandes modelos de linguagem (LLMs) tornou-se uma necessidade, mas executar esses modelos massivos em um ambiente que exige uma latência extremamente baixa representa um grande obstáculo técnico. Sundara Raman Ramachandran, engenheiro sênior da equipe de inferência de LLM do LinkedIn, apresentou o roteiro seguido pela empresa para transformar esses modelos de ferramentas de pesquisa em sistemas de produção de alta eficiência.
Compactação de modelos: de 7 bilhões para 400 milhões de parâmetros
O LinkedIn começou a trabalhar com um modelo massivo contendo 7 bilhões de parâmetros (7B), que é excelente na compreensão de contexto e diretrizes regulatórias, mas inadequado para operação real devido à sua lentidão e alto custo. A equipe adotou uma estratégia de "destilação multi-professor" (Multi-teacher distillation), onde o conhecimento foi transferido do modelo massivo para dois modelos menores e especializados: um para otimizar a "relevância" (Relevance) e outro para aumentar o "engajamento" (Engagement).
Em seguida, esse conhecimento foi integrado em um pequeno modelo de linguagem (SLM) com 600 milhões de parâmetros, que passou por um processo de "poda" (Pruning) para remover camadas desnecessárias e cabeças de atenção (Attention heads), atingindo um tamanho final de apenas 400 milhões de parâmetros. Esse processo permitiu que a empresa obtivesse um modelo pequeno o suficiente para operar em altíssima velocidade, mantendo a qualidade dos resultados de classificação dentro de limites comercialmente aceitáveis.
Compressão de contexto: inovação no financiamento de tokens
Nos sistemas de classificação, o "token" representa a moeda básica; quanto maior o número de tokens, maior o tempo de resposta. Uma descrição de cargo tradicional pode exceder 2000 tokens e, ao classificar 100 cargos por usuário, a carga torna-se imensa. O LinkedIn seguiu duas abordagens para comprimir esse contexto:
- Resumo: Uso de um modelo de linguagem para resumir a descrição do cargo de 2000 tokens para apenas 150 tokens, aumentando a produtividade em 9 vezes com uma perda de qualidade que não ultrapassou 2%.
- Representações vetoriais (Embeddings): Compressão de toda a descrição do cargo em um único vetor (Embedding) em vez de texto, resultando em um salto adicional de 10 vezes na produtividade em comparação com o resumo, com uma ligeira melhoria na qualidade.
Superando os gargalos da linguagem Python e do sistema de inferência
Os engenheiros enfrentaram desafios inesperados decorrentes da natureza da linguagem Python e do sistema operacional. Um dos desafios mais proeminentes foram os picos repentinos no tempo de resposta (picos P99) devido ao "coletor de lixo" (Garbage Collector) do Python. Esse problema foi resolvido usando o comando gc.freeze(), que instrui o sistema a ignorar objetos de longa vida e não verificá-los periodicamente, levando a um tempo de resposta estável.
A equipe também abordou o problema do "Global Interpreter Lock" (GIL) no Python, que impede o verdadeiro paralelismo, mudando para um sistema de multiprocessamento (Multiprocessing), onde cada processo opera com sua própria cópia do modelo e fluxo CUDA independente, permitindo o aproveitamento total dos recursos das unidades de processamento gráfico (GPUs).
O que muda na prática para os engenheiros?
A experiência do LinkedIn prova que o sucesso na execução de inteligência artificial em grande escala não depende apenas da potência do modelo, mas da engenharia do sistema que o cerca. A lição mais importante aqui é que "a melhor representação não é necessariamente a mais longa"; encolher o contexto e melhorar a eficiência da inferência programática pode fornecer melhores resultados do que apenas aumentar o tamanho dos modelos. Para os desenvolvedores, isso significa a necessidade de se concentrar em otimizar processos de programação simples, como (Batch Tokenization) e o uso de cópias de dados não bloqueantes (Non-blocking CUDA copies) antes de pensar em atualizar o hardware ou aumentar o número de GPUs.