Tensor Çekirdeklerindeki Performans Kısıtlamalarını Kırmak
Bir dizi açık kaynaklı proje, NVIDIA GeForce grafik kartlarında (RTX 20, 30 ve 40 serileri) kasıtlı yazılımsal kısıtlamaların varlığını ortaya çıkardı; burada Tensor çekirdekleri, FP32 hassasiyet birikimine dayanan belirli hesaplamaları gerçekleştirirken maksimum hızlarının yarısında çalışıyor. NVIDIA tarafından oyun kartlarını profesyonel iş istasyonu kartlarından ayırmak için yazılımsal olarak uygulanan bu kısıtlama, kartların yapay zeka modellerini eğitme ve çıkarım görevlerindeki verimliliğini sınırlıyor.
Modifikasyonlar Nasıl Çalışıyor?
Girişim, gpu-unlock adında bir Linux çekirdek modülü (Linux kernel module) geliştiren Zagitta adlı bir GitHub kullanıcısı ile başladı. Bu araç, resmi NVIDIA sürücüleri yüklenmeden önce çalışarak karttaki hız seçim kayıtlarını yeniden yazar ve sıfırlar. Modifikasyon çekirdek düzeyinde yapıldığı için VBIOS değişikliği veya sürücüler üzerinde kalıcı değişiklikler gerektirmez.
RTX 3090 Ti kartı üzerindeki testler, matris işleme performansında dikkate değer bir artış gösterdi; BF16 işleme hızı 87,5'ten 157,4 TFLOPS'a yükselirken, TF32 performansı da yaklaşık iki katına çıktı. Bu çözümler, RTX 40 serisi için gpu-unlock-ada ve RTX 20 serisi için turing-unlock gibi diğer nesillere de uyarlandı.
Kullanıcılar İçin Pratik Olarak Ne Değişiyor?
- Performans İyileştirmeleri: Kullanıcılar, bu görevlerin yoğun bir şekilde FP32-accumulate hesaplamalarına dayanması nedeniyle, temel olarak görüntü oluşturma (Image Generation) ve modellerin ince ayar (Fine-tuning) işlemlerinden faydalanırlar.
- Oyunlar İçin Sınırlı Fayda: Oyuncular performansta herhangi bir fark fark etmeyecekler, çünkü oyunlar Tensor çekirdekleri için bu tür yoğun hesaplama türlerine dayanmaz.
- Sohbet Uygulamaları: Metin oluşturma hızı (Token speed), öncelikle ham hesaplama gücünden ziyade bellek bant genişliği (Memory Bandwidth) ile sınırlı olduğundan, büyük bir iyileşme göstermez.
Önemli Hususlar ve Riskler
Geliştiriciler, karttaki termal ve güç koruma mekanizmalarının etkin kalmaya devam ettiğini belirtseler de, Tensor çekirdeklerini tam kapasiteyle çalıştırmanın yüksek güç tüketimine yol açabileceği ve bunun da uzun vadeli donanım kararlılığı konusunda endişeler yaratabileceği konusunda uyarılar bulunmaktadır. Ayrıca, mevcut destek neredeyse tamamen Linux ortamıyla sınırlıdır ve Windows üzerinde çok sınırlı deneyler mevcuttur.