Платформа LinkedIn сталкивается с колоссальной инженерной задачей: выдавать точные результаты поиска и рекомендации 1.3 миллиарда участников по всему миру за доли секунды. С переходом от поиска на основе ключевых слов к поиску на естественном языке зависимость от больших языковых моделей (LLM) стала необходимостью, однако запуск этих огромных моделей в среде, требующей сверхнизкой задержки (Latency), представляет собой серьезное техническое препятствие. Сундара Раман Рамачандран, главный инженер команды по инференсу языковых моделей в LinkedIn, представил дорожную карту, которой следовала компания для превращения этих моделей из исследовательских инструментов в высокоэффективные производственные системы.
Сокращение моделей: с 7 миллиардов до 400 миллионов параметров
LinkedIn начала работу с массивной модели, содержащей 7 миллиардов параметров (7B), которая отлично понимает контекст и нормативную политику, но непригодна для реальной эксплуатации из-за своей медлительности и высокой стоимости. Команда приняла стратегию «дистилляции с участием множества учителей» (Multi-teacher distillation), при которой знания переносились из крупной модели в две более мелкие специализированные: одна для улучшения «релевантности» (Relevance), а другая для повышения «вовлеченности» (Engagement).
После этого данные знания были объединены в малую языковую модель (SLM) размером 600 миллионов параметров, которая затем прошла через процесс «прунинга» (Pruning) для удаления ненужных слоев и голов внимания (Attention heads), в результате чего конечный размер составил всего 400 миллионов параметров. Этот процесс позволил компании получить модель, достаточно компактную для работы на сверхвысоких скоростях при сохранении качества результатов классификации в коммерчески приемлемых пределах.
Сжатие контекста: инновации в обработке токенов
В системах классификации «токен» (Token) представляет собой основную единицу; чем больше токенов, тем выше задержка. Традиционное описание вакансии может превышать 2000 токенов, и при классификации 100 вакансий для каждого пользователя нагрузка становится колоссальной. LinkedIn применила два подхода для сжатия этого контекста:
- Суммаризация: использование языковой модели для сокращения описания вакансии с 2000 токенов всего до 150 токенов, что увеличило производительность в 9 раз при падении качества не более чем на 2%.
- Векторные представления (эмбеддинги): сжатие всего описания вакансии в один вектор (Embedding) вместо текста, что привело к дополнительному скачку производительности в 9 раз по сравнению с суммаризацией при небольшом улучшении качества.
Преодоление узких мест языка Python и системы инференса
Инженеры столкнулись с неожиданными проблемами, вызванными природой языка Python и операционной системы. Одной из наиболее заметных проблем были резкие скачки задержки (P99 spikes) из-за «сборщика мусора» (Garbage Collector) в Python. Эта проблема была решена с помощью команды gc.freeze(), которая указывает системе игнорировать долгоживущие объекты и не сканировать их периодически, что привело к стабилизации задержки.
Команда также решила проблему «глобальной блокировки интерпретатора» (GIL) в Python, которая препятствует истинному параллелизму, перейдя к системе многопроцессорности (Multiprocessing), где каждый процесс работает со своей собственной копией модели и независимым потоком CUDA, что позволило полностью задействовать возможности графических процессоров (GPU).
Что меняется на практике для инженеров?
Опыт LinkedIn доказывает, что успех внедрения искусственного интеллекта в массовом масштабе зависит не только от мощности самой модели, но и от инженерии окружающей ее системы. Самый важный урок здесь заключается в том, что «лучшее представление не обязательно является самым длинным»; сокращение контекста и повышение эффективности программного инференса могут дать лучшие результаты, чем простое увеличение размера моделей. Для разработчиков это означает необходимость сосредоточиться на оптимизации простых программных операций, таких как пакетная токенизация (Batch Tokenization) и использование неблокирующего копирования данных CUDA (Non-blocking CUDA copies), прежде чем задумываться об обновлении оборудования или увеличении количества графических процессоров.