Inteligencia artificial

¿Cómo desarrolló LinkedIn sistemas de clasificación con inteligencia artificial ultra rápidos? Estrategias de reducción de modelos y optimización de inferencia

LinkedIn reveló su metodología técnica para ejecutar grandes modelos de lenguaje (LLMs) en sistemas de búsqueda y recomendación, centrándose en reducir los modelos de 7 mil millones a 400 millones de parámetros y comprimir el contexto en 10 veces para garantizar una respuesta instantánea a miles de millones de usuarios.

2026-11-17
4 min de lectura
10 visitas
certi.news Editorial Team
¿Cómo desarrolló LinkedIn sistemas de clasificación con inteligencia artificial ultra rápidos? Estrategias de reducción de modelos y optimización de inferencia

LinkedIn se enfrenta a un enorme desafío técnico que consiste en ofrecer resultados de búsqueda y recomendaciones precisas a 1.300 millones de miembros en todo el mundo en fracciones de segundo. Con la transición de la búsqueda basada en palabras clave a la búsqueda en lenguaje natural, la dependencia de los grandes modelos de lenguaje (LLMs) se ha vuelto una necesidad, pero ejecutar estos modelos gigantescos en un entorno que requiere una latencia muy baja representa un obstáculo técnico importante. Sundara Raman Ramachandran, ingeniero principal del equipo de inferencia de modelos de lenguaje en LinkedIn, expuso la hoja de ruta seguida por la empresa para transformar estos modelos de herramientas de investigación a sistemas de producción de alta eficiencia.

Reducción de modelos: de 7 mil millones a 400 millones de parámetros

LinkedIn comenzó a trabajar con un modelo masivo que contenía 7 mil millones de parámetros (7B), un modelo excelente para comprender el contexto y las políticas regulatorias, pero no apto para la operación real debido a su lentitud y alto costo. El equipo adoptó una estrategia de "destilación multi-profesor" (Multi-teacher distillation), donde el conocimiento se transfirió del modelo masivo a dos modelos más pequeños y especializados: uno para mejorar la "relevancia" (Relevance) y otro para aumentar el "compromiso" (Engagement).

Posteriormente, estos conocimientos se combinaron en un modelo de lenguaje pequeño (SLM) de 600 millones de parámetros, el cual se sometió a un proceso de "poda" (Pruning) para eliminar las capas innecesarias y las cabezas de atención (Attention heads), reduciendo el tamaño final a solo 400 millones de parámetros. Este proceso permitió a la empresa obtener un modelo lo suficientemente pequeño como para operar a una velocidad ultra alta mientras se mantiene la calidad de los resultados de clasificación dentro de límites comercialmente aceptables.

Compresión de contexto: innovación en el procesamiento de tokens

En los sistemas de clasificación, el "token" representa la moneda básica; cuantos más tokens, mayor es la latencia. Una descripción de empleo tradicional puede superar los 2000 tokens, y al clasificar 100 empleos por usuario, la carga se vuelve enorme. LinkedIn siguió dos enfoques para comprimir este contexto:

  • Resumen: utilizar un modelo de lenguaje para resumir la descripción del empleo de 2000 tokens a solo 150 tokens, lo que aumentó la productividad en 9 veces con una pérdida de calidad que no superó el 2%.
  • Representación vectorial (Embeddings): comprimir toda la descripción del empleo en un solo vector (Embedding) en lugar de texto, lo que condujo a un salto en la productividad de 10 veces adicionales en comparación con el resumen, con una ligera mejora en la calidad.

Superación de los cuellos de botella de Python y el sistema de inferencia

Los ingenieros se enfrentaron a desafíos inesperados derivados de la naturaleza de Python y el sistema operativo. Uno de los desafíos más destacados fueron los picos repentinos en la latencia (P99 spikes) debido al "recolector de basura" (Garbage Collector) en Python. Este problema se resolvió utilizando el comando gc.freeze(), que indica al sistema que ignore los objetos de larga duración y no los inspeccione periódicamente, lo que llevó a la estabilización de la latencia.

El equipo también abordó el problema del "bloqueo del intérprete global" (GIL) en Python, que impide el paralelismo real, mediante la transición a un sistema de multiprocesamiento (Multiprocessing), donde cada proceso opera con su propia copia del modelo y un flujo de CUDA independiente, lo que permitió la explotación completa de las capacidades de las unidades de procesamiento gráfico (GPUs).

¿Qué cambia prácticamente para los ingenieros?

La experiencia de LinkedIn demuestra que el éxito en la ejecución de la inteligencia artificial a escala no depende solo de la potencia del modelo, sino de la ingeniería del sistema que lo rodea. La lección más importante aquí es que "la mejor representación no es necesariamente la más larga"; reducir el contexto y mejorar la eficiencia de la inferencia de software puede proporcionar mejores resultados que simplemente aumentar el tamaño de los modelos. Para los desarrolladores, esto significa la necesidad de centrarse en optimizar operaciones de software simples como la tokenización por lotes (Batch Tokenization) y el uso de copias de datos no bloqueantes (Non-blocking CUDA copies) antes de pensar en actualizar el hardware o aumentar el número de unidades de procesamiento gráfico.

Fuente de la noticia
InfoQ - Architecture Articles
Abrir fuente original ↗
c
Autor

certi.news Editorial Team

De la misma categoría

También te puede interesar

Ver todas las noticias