Cloudflare, veri işleme sistemi için ilk birinci sınıf çıkarım modeli olan «Clairic»i tanıttı
Cloudflare, «Sistem Bir» (System One) modelleri kategorisine giren ve «Clairic» adını taşıyan yeni bir çıkarım modelinin önizleme sürümünün kullanıma sunulduğunu duyurdu. Yeni model, şu anda geliştiriciler için «Workers AI» platformunda @cf/cloudflare/clairic tanımlayıcısı altında mevcut olup, ağırlıklarının yakında halka açık hale getirilmesi planlanmaktadır. Model, yapılandırılmamış metin ve görsellerden değerleri çıkarma, hesaplama, tahmin etme ve öngörme yeteneğiyle, geleneksel büyük dil modellerine (LLM'ler) kıyasla çok daha yüksek doğruluk, daha yüksek hız ve çok daha düşük maliyet sunmaktadır.
Birinci sınıf çıkarım modelleri kavramı
Cloudflare, bu sürüm için ilhamını, Daniel Kahneman'ın «Hızlı ve Yavaş Düşünme» kitabından esinlenen ve «TypeSafe» şirketinin yakın zamanda ortaya koyduğu Sistem Bir modelleri kavramından almıştır. Bu modeller, yavaş üretken düşünme süreçleri olmaksızın hızlı ve doğru çalışacak şekilde tasarlanmıştır. Önceden tanımlanmış seçenekler arasından seçim yapan «Jev» ve «Clef» gibi karar modellerinin aksine, Clairic modeli doğrudan değer çıkarma, hesaplama veya tahmin etme işlemleriyle ilgilenir. Bunu, metin belirteçleri (Tokens) üretmeden belirli bir doğrulukla gerçekleştirerek metinsel halüsinasyon oluşumunu engeller.
Model, istekleri tek bir geçişte ve paralel olarak işler; metinler, sayılar, tarihler, saatler, listeler, olasılıksal tahminler ve zamansal öngörüler gibi net veri türlerinde yanıtlar sunar. Her sayısal veya metinsel yanıt, bir güven oranı ve girdide verinin bulunmama olasılığı (p_null) ile birlikte gelir, bu da geliştiricilerin sonuçları otomatik olarak doğrulamasına olanak tanır.
Geliştiriciler için pratikte neler değişiyor?
Geleneksel iş akışlarında uygulamalar, verileri çıkarmak ve JSON formatına dönüştürmek için büyük dil modellerine güvenir; bu süreç maliyetli, yavaş ve format hatalarına veya halüsinasyonlara açıktır. Clairic modeli, aşağıdaki özelliklerle pratik alternatifler sunar:
- Çıkarılan ve hesaplanan değerler: Model sadece metni kopyalamakla kalmaz, aynı zamanda vergi tutarlarını fiyatlara eklemek veya farklı tarihler arasındaki zaman aralıklarını hesaplamak gibi girdiler dahilinde basit hesaplamalar yapabilir.
- Tahmin aralıkları: Değerin metinde açıkça bulunmadığı durumlarda model, bağlamsal kanıtlara dayanarak medyan ve %80 güven aralığına sahip bir olasılık dağılımı sunabilir.
- Zaman serisi tahmini: Model, karmaşık zaman serisi modellerini dağıtmaya gerek kalmadan, girilen geçmiş verilere dayanarak gelecekteki değerleri tahmin etmek için kullanılabilir.
- Çok modlu işleme: Model, metinleri ve görselleri birlikte destekleyerek kağıt makbuzlardan veya net olmayan taranmış belgelerden verilerin doğru bir şekilde çıkarılmasını sağlar.
Akıllı iş akışında performans ve maliyet
Cloudflare, bir model zincirine (çıkarım için Clairic, karar verme için Clef ve yanıt üretimi için bir dil modeli) dayalı bir iş akışı ile tamamen tek bir büyük dil modeline (GLM-5.3) dayalı bir iş akışı arasında pratik bir karşılaştırma yaptı. Sonuçlar, entegre zincirin işlemi 19,3 saniyede tamamladığını, tam modelin ise 61,7 saniyede tamamladığını ve maliyetin toplam maliyetin yaklaşık üçte biri kadar (milyon istek başına 6.032 dolara karşı 11.740 dolar) olduğunu gösterdi.
Kullanılabilirlik ve mevcut kısıtlamalar
Clairic modeli şu anda Workers AI uç noktası aracılığıyla bir önizleme özelliği olarak mevcuttur ve Cloudflare Workers işlevleri veya REST API kullanılarak çağrılabilir. Şirket, bunun bir ön sürüm olması nedeniyle bazı mevcut kısıtlamalara dikkat çekmektedir; karmaşık çok adımlı hesaplamalar henüz tam olarak doğru değildir ve tahmin görevleri temel düzeydedir, karmaşık uzmanlaşmış zaman serisi modellerinin yerini alamaz. Şirket, bu yönleri iyileştirmeyi ve gelecekte modelin açık ağırlıklarını kullanıma sunmayı planlamaktadır.