Terimler
AI Inference: Yapay Zekâ Çıkarımı
Yapay zekâ çıkarımı, eğitilmiş yapay zekâ modellerinin isteklere yanıt olarak sonuç üretmek üzere çalıştırılmasını ifade eder. Bu kullanım; bulut altyapısı hizmetlerinde, kurumsal sunucularda, veri merkezlerinde ve çıktıların işlenmesini hızlandırmak üzere tasarlanan çip ve sistemlerde görülür.
Yapay zekâ çıkarımı, eğitilmiş bir yapay zekâ modelinin bir isteği işleyerek çıktı üretmek üzere çalıştırıldığı aşamadır. Modelin yeteneklerini veri ve işlem gücü kullanarak oluşturmasına odaklanan model eğitiminden farklıdır.
Çıkarım nerede kullanılır?
- Altyapı hizmetleri: Modal Labs gibi şirketler, sunucuları doğrudan yönetmeye gerek kalmadan modelleri ve yoğun işlem gerektiren iş yüklerini çalıştırmak için kaynak sağlar.
- Uzmanlaşmış çipler ve sistemler: Etched, şirketin belirttiği alternatiflere kıyasla çıkarımı hızlandırmayı ve maliyetini ve süresini azaltmayı amaçlayan donanım sistemlerine odaklanır.
- Veri merkezleri ve GPU birimleri: Crusoe, yapay zekâ modellerini çalıştırmak için işlem gücü satmanın yanı sıra alan ve GPU birimleri de kiralar.
- Kurumsal sunucular: Sharp, şirketlere, devlet kurumlarına ve veri merkezi işletmecilerine yönelik sunucular için sipariş kabul etmeye başladı; açıklanan kullanım alanları arasında eğitim ve çıkarım yer alıyor.
Süreç neden özel altyapı gerektirir?
Çıkarım; grafik işlem birimleri, sunucular, bellek, depolama, ağlar, enerji ve soğutma gibi işlem kaynaklarına dayanır. Kaynaklar, bu hizmet sağlayıcılarının aynı anda artan taleple ve işlem kapasitesi satın alma veya kiralamayla bağlantılı yüksek maliyetlerle karşı karşıya olduğunu ve bunun kâr marjları üzerinde baskı oluşturabileceğini belirtiyor.
Ürünlerde ve altyapıda çıkarım
Şirketler bu alanda birden fazla düzeyde rekabet ediyor: özel çip tasarlamak, özelleştirilebilir sunucular oluşturmak, bulut platformları sağlamak ve çok sayıda GPU birimini çalıştırabilecek veri merkezleri kurmak. Bu nedenle yapay zekâ çıkarımı yalnızca modelin kendisiyle sınırlı değildir; kapsamlı bir işletim ekosistemi gerektirir.
Neler değerlendirilmelidir?
- Yanıt süresi: İstek gönderildikten sonra çıktıların ne kadar hızlı üretildiği.
- Maliyet: İşlem kapasitesi, enerji, soğutma ve işletim sağlama maliyeti.
- Ölçeklenebilirlik: Altyapının daha fazla isteğe veya modele hizmet verme kapasitesi.
- Güvenilirlik: Çalışma sırasında sunucuların, platformun ve ağların istikrarı.
Mevcut bilgilerin sınırları
Mevcut kaynaklar, tüm çıkarım sağlayıcıları arasında fiyat, performans veya pazar payı bakımından standartlaştırılmış bir karşılaştırma içermiyor. Ayrıca bazı rakamlar açıklanan hedefler, planlar ve finansmanlarla ilgilidir ve mutlaka gerçekleşmiş operasyonel sonuçları temsil etmez.