링크드인은 전 세계 13억 명의 회원에게 수천 분의 1초 만에 정확한 검색 및 추천 결과를 제공해야 하는 엄청난 엔지니어링 과제에 직면해 있습니다. 키워드 기반 검색에서 자연어 기반 검색으로 전환됨에 따라 대형 언어 모델(LLM)에 대한 의존도가 필수가 되었지만, 지연 시간(Latency)이 매우 짧은 환경에서 이러한 거대한 모델을 실행하는 것은 주요 기술적 장벽이었습니다. 링크드인 LLM 추론 팀의 수석 엔지니어인 수다라만 라마찬드란은 이 모델들을 연구용 도구에서 고효율 프로덕션 시스템으로 전환하기 위해 회사가 거쳐 온 로드맵을 소개했습니다.
모델 축소: 70억 개에서 4억 개의 매개변수로
링크드인은 맥락과 규제 정책을 이해하는 데 뛰어난 70억 개(7B)의 매개변수를 포함하는 거대한 모델로 작업을 시작했지만, 속도가 느리고 비용이 많이 10들어 실제 운영에는 적합하지 않았습니다. 팀은 "다중 교사 증류(Multi-teacher distillation)" 전략을 채택하여, 거대한 모델의 지식을 각각 "관련성(Relevance)" 개선과 "참여(Engagement)" 증대를 담당하는 두 개의 더 작고 전문화된 모델로 이전했습니다.
그 후, 이 지식들은 6억 개의 매개변수를 가진 소형 언어 모델(SLM)로 통합되었으며, 불필요한 레이어와 어텐션 헤드(Attention heads)를 제거하는 "가지치기(Pruning)" 과정을 거쳐 최종 크기가 4억 개의 매개변수로만 줄어들었습니다. 이 과정을 통해 회사는 상업적으로 수용 가능한 분류 결과 품질을 유지하면서 초고속으로 실행하기에 충분히 작은 모델을 확보할 수 있었습니다.
컨텍스트 압축: 토큰 융스의 혁신
분류 시스템에서 "토큰(Token)"은 기본 통화입니다. 토큰이 많아질수록 지연 시간도 늘어납니다. 기존의 직무 설명은 2000토큰을 초과할 수 있으며, 사용자당 100개의 직무를 분류할 때 그 부하는 엄청납니다. 링크드인은 이 컨텍스트를 압축하기 위해 두 가지 접근 방식을 따랐습니다.
- 요약: 언어 모델을 사용하여 직무 설명의 길이를 2000토큰에서 단 150토큰으로 요약함으로써, 품질 저하를 2% 이하로 유지하면서 처리량을 9배 높였습니다.
- 임베딩(Embeddings): 텍스트 대신 직무 설명 전체를 단일 벡터(Embedding)로 압축하여, 요약 대비 처리량이 추가로 10배 도약하는 동시에 품질이 소폭 향상되었습니다.
파이썬(Python)의 병목 현상과 추론 시스템 극복
엔지니어들은 파이썬 언어와 운영 체제의 특성으로 인해 예상치 못한 도전에 직면했습니다. 가장 두드러진 과제 중 하나는 파이썬의 "가비지 컬렉터(Garbage Collector)"로 인한 지연 시간의 급격한 도약(P99 spikes)이었습니다. 이 문제는 시스템에 수명이 긴 객체를 무시하고 주기적으로 검사하지 않도록 지시하는 gc.freeze() 명령어를 사용하여 해결되었으며, 이는 지연 시간을 안정화하는 데 기여했습니다.
엔지니어들에게 실질적으로 바뀌는 것은 무엇인가?
링크드인의 경험은 대규모 인공지능 운영 성공이 모델의 성능뿐만 아니라 그 주변의 시스템 엔지니어링에 달려 있음을 증명합니다. 여기서 가장 중요한 교훈은 "더 나은 표현이 반드시 가장 긴 것은 아니다"라는 점입니다. 컨텍스트를 줄이고 프로그래밍 방식의 추론 효율성을 개선하는 것이 단순히 모델의 크기를 늘리는 것보다 더 나은 결과를 제공할 수 있습니다. 개발자에게 이는 하드웨어를 업그레이드하거나 그래픽 처리 장치(GPU) 수를 늘리기 전에 배치 토큰화(Batch Tokenization) 및 비차단 데이터 복사(Non-blocking CUDA copies)와 같은 간단한 프로그래밍 프로세스를 최적화하는 데 집중해야 함을 의미합니다.
뉴스 출처
InfoQ - Architecture Articles
원문 보기 ↗