Искусственный интеллект

Как LinkedIn разработала сверхбыстрые системы классификации на базе искусственного интеллекта: стратегии сокращения моделей и оптимизации инференса

LinkedIn раскрыла свою техническую методологию развертывания больших языковых моделей (LLM) в системах поиска и рекомендаций, сосредоточившись на сокращении моделей с 7 миллиардов до 400 миллионов параметров и сжатии контекста в 10 раз для обеспечения мгновенной реакции для миллиардов пользователей.

2026-11-17
3 мин. чтения
10 просмотров
certi.news Editorial Team
Как LinkedIn разработала сверхбыстрые системы классификации на базе искусственного интеллекта: стратегии сокращения моделей и оптимизации инференса

Платформа LinkedIn сталкивается с колоссальной инженерной задачей: выдавать точные результаты поиска и рекомендации 1.3 миллиарда участников по всему миру за доли секунды. С переходом от поиска на основе ключевых слов к поиску на естественном языке зависимость от больших языковых моделей (LLM) стала необходимостью, однако запуск этих огромных моделей в среде, требующей сверхнизкой задержки (Latency), представляет собой серьезное техническое препятствие. Сундара Раман Рамачандран, главный инженер команды по инференсу языковых моделей в LinkedIn, представил дорожную карту, которой следовала компания для превращения этих моделей из исследовательских инструментов в высокоэффективные производственные системы.

Сокращение моделей: с 7 миллиардов до 400 миллионов параметров

LinkedIn начала работу с массивной модели, содержащей 7 миллиардов параметров (7B), которая отлично понимает контекст и нормативную политику, но непригодна для реальной эксплуатации из-за своей медлительности и высокой стоимости. Команда приняла стратегию «дистилляции с участием множества учителей» (Multi-teacher distillation), при которой знания переносились из крупной модели в две более мелкие специализированные: одна для улучшения «релевантности» (Relevance), а другая для повышения «вовлеченности» (Engagement).

После этого данные знания были объединены в малую языковую модель (SLM) размером 600 миллионов параметров, которая затем прошла через процесс «прунинга» (Pruning) для удаления ненужных слоев и голов внимания (Attention heads), в результате чего конечный размер составил всего 400 миллионов параметров. Этот процесс позволил компании получить модель, достаточно компактную для работы на сверхвысоких скоростях при сохранении качества результатов классификации в коммерчески приемлемых пределах.

Сжатие контекста: инновации в обработке токенов

В системах классификации «токен» (Token) представляет собой основную единицу; чем больше токенов, тем выше задержка. Традиционное описание вакансии может превышать 2000 токенов, и при классификации 100 вакансий для каждого пользователя нагрузка становится колоссальной. LinkedIn применила два подхода для сжатия этого контекста:

  • Суммаризация: использование языковой модели для сокращения описания вакансии с 2000 токенов всего до 150 токенов, что увеличило производительность в 9 раз при падении качества не более чем на 2%.
  • Векторные представления (эмбеддинги): сжатие всего описания вакансии в один вектор (Embedding) вместо текста, что привело к дополнительному скачку производительности в 9 раз по сравнению с суммаризацией при небольшом улучшении качества.

Преодоление узких мест языка Python и системы инференса

Инженеры столкнулись с неожиданными проблемами, вызванными природой языка Python и операционной системы. Одной из наиболее заметных проблем были резкие скачки задержки (P99 spikes) из-за «сборщика мусора» (Garbage Collector) в Python. Эта проблема была решена с помощью команды gc.freeze(), которая указывает системе игнорировать долгоживущие объекты и не сканировать их периодически, что привело к стабилизации задержки.

Команда также решила проблему «глобальной блокировки интерпретатора» (GIL) в Python, которая препятствует истинному параллелизму, перейдя к системе многопроцессорности (Multiprocessing), где каждый процесс работает со своей собственной копией модели и независимым потоком CUDA, что позволило полностью задействовать возможности графических процессоров (GPU).

Что меняется на практике для инженеров?

Опыт LinkedIn доказывает, что успех внедрения искусственного интеллекта в массовом масштабе зависит не только от мощности самой модели, но и от инженерии окружающей ее системы. Самый важный урок здесь заключается в том, что «лучшее представление не обязательно является самым длинным»; сокращение контекста и повышение эффективности программного инференса могут дать лучшие результаты, чем простое увеличение размера моделей. Для разработчиков это означает необходимость сосредоточиться на оптимизации простых программных операций, таких как пакетная токенизация (Batch Tokenization) и использование неблокирующего копирования данных CUDA (Non-blocking CUDA copies), прежде чем задумываться об обновлении оборудования или увеличении количества графических процессоров.

Источник новости
InfoQ - Architecture Articles
Открыть первоисточник ↗
c
Автор

certi.news Editorial Team

В той же категории

Вам также может понравиться

Все новости