Yapay zekâ

LinkedIn Süper Hızlı Yapay Zeka Sınıflandırma Sistemlerini Nasıl Geliştirdi? Model Küçültme ve Çıkarım İyileştirme Stratejileri

LinkedIn, milyarlarca kullanıcıya anında yanıt verilmesini sağlamak amacıyla modellerin 7 milyar parametreden 400 milyon parametreye düşürülmesine ve bağlamın 10 kat sıkıştırılmasına odaklanarak, arama ve öneri sistemlerinde büyük dil modellerini (LLM) çalıştırmaya yönelik teknik metodolojisini açıkladı.

2026-11-17
3 dk okuma
10 görüntülenme
certi.news Editorial Team
LinkedIn Süper Hızlı Yapay Zeka Sınıflandırma Sistemlerini Nasıl Geliştirdi? Model Küçültme ve Çıkarım İyileştirme Stratejileri

LinkedIn platformu, dünya genelindeki 1,3 milyar üyeye saniyenin kesirleri içinde doğru arama sonuçları ve öneriler sunmak gibi devasa bir mühendislik zorluğuyla karşı karşıyadır. Anahtar kelime tabanlı aramadan doğal dille aramaya geçişle birlikte, büyük dil modellerine (LLM) güvenmek bir zorunluluk haline gelmiştir, ancak bu devasa modelleri çok düşük gecikme (Latency) gerektiren bir ortamda çalıştırmak büyük bir teknik engeli temsil etmektedir. LinkedIn'deki LLM Çıkarımı ekibinde kıdemli mühendis olan Sundara Raman Ramachandran, şirketin bu modelleri araştırma araçlarından son derece verimli üretim sistemlerine dönüştürmek için izlediği yol haritasını paylaştı.

Model Küçültme: 7 Milyardan 400 Milyon Parametreye

LinkedIn, bağlamı ve organizasyonel politikaları anlamada mükemmel olan ancak yavaşlığı ve yüksek maliyeti nedeniyle fiili çalışma için uygun olmayan 7 milyar parametrelik (7B) devasa bir modelle çalışmaya başladı. Ekip, "Çoklu öğretmen damıtma" (Multi-teacher distillation) stratejisini benimser; bu stratejide bilgi, devasa modelden iki küçük özelleştirilmiş modele aktarıldı: Biri "ilgililiği" (Relevance) artırmak, diğeri ise "etkileşimi" (Engagement) artırmak için.

Ardından, bu bilgiler 600 milyon parametrelik küçük bir dil modelinde (SLM) birleştirildi ve ardından gereksiz katmanları ve dikkat başlıklarını (Attention heads) kaldırmak için bir "budama" (Pruning) işlemine tabi tutularak nihai boyutun sadece 400 milyon parametreye düşmesi sağlandı. Bu işlem, şirketin ticari olarak kabul edilebilir sınırlar içinde sınıflandırma sonuçlarının kalitesini korurken, aşırı hızda çalışacak kadar küçük bir modele sahip olmasını sağladı.

Bağlam Sıkıştırma: Token Finansmanında İnovasyon

Sınıflandırma sistemlerinde "token" temel para birimidir; token sayısı ne kadar çok olursa gecikme o kadar yüksek olur. Geleneksel bir iş tanımı 2000 tokeni aşabilir ve her kullanıcı için 100 iş sınıflandırıldığında yük devasa hale gelir. LinkedIn, bu bağlamı sıkıştırmak için iki yaklaşım izledi:

  • Özetleme: İş tanımını 2000 tokenden sadece 150 token'a düşürmek için bir dil modelinin kullanılması; bu, kalite kaybı %2'yi geçmezken verimliliği 9 kat artırdı.
  • Vektör Temsili (Embeddings): Metin yerine tüm iş tanımının tek bir vektörde (Embedding) sıkıştırılması, özetlemeye kıyasla ek 10 katlık bir verimlilik sıçramasına ve kalitede hafif bir iyileşmeye yol açtı.

Python ve Çıkarım Sistemi Darboğazlarının Üstesinden Gelmek

Mühendisler, Python dilinin ve işletim sisteminin doğasından kaynaklanan beklenmeyen zorluklarla karşıştı. Bu zorluklardan en belirgini, Python'daki "çöp toplayıcı" (Garbage Collector) nedeniyle gecikmede (P99 spikes) meydana gelen ani sıçramalardı. Bu sorun, sisteme uzun ömürlü nesneleri görmezden gelmesini ve onları periyodik olarak taramamasını söyleyen gc.freeze() komutu kullanılarak çözüldü, bu da gecikmeyi istikrarlı hale getirdi.

Ekip ayrıca, gerçek paralelliği engelleyen Python'daki "Genel Yorumlayıcı Kilidi" (GIL) sorununu, her işlemin modelin kendi kopyası ve bağımsız bir CUDA akışı ile çalıştığı çoklu işlem (Multiprocessing) sistemine geçerek ele aldı; bu da grafik işlemcilerinin (GPU) tüm kapasitesinin kullanılmasını sağladı.

Mühendisler İçin Pratikte Ne Değişiyor?

LinkedIn'in deneyimi, yapay zekayı ölçekli bir şekilde çalıştırarak başarılı olmanın yalnızca modelin gücüne değil, aynı zamanda etrafındaki sistemin mühendisliğine de bağlı olduğunu kanıtlıyor. Buradaki en önemli ders, "Daha iyi bir temsilin mutlaka en uzun olanı olmadığıdır"; bağlamı daraltmak ve programatik çıkarım verimliliğini artırmak, yalnızca model boyutunu büyütmekten daha iyi sonuçlar sağlayabilir. Geliştiriciler için bu, donanımı yükseltmeyi veya grafik işlemci sayısını artırmadan önce toplu token oluşturma (Batch Tokenization) gibi basit programlama işlemlerini iyileştirmeye odaklanmak ve engelleyici olmayan CUDA kopyalarını (Non-blocking CUDA copies) kullanmak gerektiği anlamına gelir.

Haber kaynağı
InfoQ - Architecture Articles
Özgün kaynağı aç ↗
c
Yazar

certi.news Editorial Team

Aynı kategoride

Bunlar da ilginizi çekebilir

Tüm haberleri gör