CoreWeave, NVIDIA Vera Rubin NVL72 sistemlerini Spectrum-X 102.4T Ethernet ağlarıyla desteklenen bulut platformunda kullanıma sunduğunu açıkladı. Bu adım, otonom yapay zekâ iş yüklerini eğitim ve deney aşamalarından üretim ortamında çalıştırmaya taşımayı hedefliyor. Şirket, otonom yazılım mühendisi Devin'i geliştiren Cognition'ın Vera Rubin üzerinde üretim iş yükleri çalıştıran ilk müşteri olduğunu belirtiyor.
Duyuru, CoreWeave Fully Connected etkinliği kapsamında San Francisco'da yapıldı. Duyuru ayrıca yapay zekâ ajanlarının iş yükleri için tasarlanan NVIDIA Vera işlemcisinin kullanıma sunulmasına yönelik planları ve modeller ile ajanların eğitimini, değerlendirilmesini ve sürekli iyileştirilmesini birbirine bağlayan CoreWeave Forge ortamının lansmanını da içeriyor.
Devin iş yüklerinde daha yüksek performans
Cognition, Devin'i eğitmek, pekiştirmeli öğrenme gerçekleştirmek ve üretimde çıkarım çalıştırmak için CoreWeave altyapısını kullanıyor. CoreWeave ilk üretim Vera Rubin NVL72 raflarını teslim aldıktan sonra Cognition, FrontierCode'dan alınan bir yazılım mühendisliği görevleri kümesiyle performansı karşılaştırdı ve bunları çözmeleri için ajanlar dağıttı.
İlk testler, SWE-2 çıkarım iş yüklerinde GB200 NVL72 temel çizgisine kıyasla toplam token üretim hızında 4,8 kata varan artış gösterdi. Kaynağa göre bu sonuç pratikte daha hızlı kod üretimi ve Devin'deki çok aşamalı düşünme süreçlerine daha iyi yanıt anlamına geliyor. Metin, ölçüm metodolojisinin tamamı veya sayının farklı ortamlar arasında ne ölçüde karşılaştırılabilir olduğunu belirleyen test koşulları hakkında yeterli ayrıntı sunmadı.
Yapay zekâ yaşam döngüsü için tek platform
CoreWeave, Vera Rubin kapasitesinin CoreWeave Kubernetes Service, SUNK, CoreWeave Mission Control, CoreWeave Sandboxes ve CoreWeave Inference üzerinden çalıştırılmasına olanak tanıyor. Şirket ayrıca CoreWeave Forge'un Weights & Biases araçlarını, OpenPipe'ın eğitim sonrası uzmanlığını ve açık kaynaklı marimo projesini tek bir ortamda bir araya getireceğini açıkladı. Bu ortam farklı modellere, çerçevelere ve bulutlara açık kalacak.
Forge, deneyleri analiz eden, değişiklikler öneren ve bunları GitHub'a kaydeden genel kullanıma açık CoreWeave ARIA hizmetini ve üretimdeki ajanların gözlem verilerini iyileştirme girdilerine dönüştüren yeni CoreWeave Agent Lens hizmetini içeriyor. CoreWeave, Agent Lens'in arıza tespitini %20 iyileştirdiğini ve bunları giderme maliyetini yarıya indirdiğini belirtiyor; ancak bu oranların nasıl hesaplandığına ilişkin bağımsız ayrıntılar sunulmadı.
CoreWeave Sandboxes da ajanları, araç çağrılarını, pekiştirmeli öğrenmeyi ve değerlendirmeyi CPU veya GPU birimleri üzerinde yalıtılmış ortamlarda çalıştırmak üzere genel kullanıma açıldı. Şirket, sunucusuz pekiştirmeli öğrenmenin kendi kendine yönetilen bir kuruluma kıyasla 1,4 kat daha hızlı çalıştığını ve %40 daha düşük maliyet sunduğunu belirtiyor.
Pratikte ne değişiyor?
En önemli dönüşüm yalnızca yeni donanım eklemek değil; ajanın çalıştırılması ile sinyallerinin toplanması ve ardından eğitimde yeniden kullanılması arasındaki boşluğu daraltma girişimi. Açık kaynaklı bir çıkarım çerçevesi olan NVIDIA Dynamo, yönetilen çıkarım hizmetini ve özel önizlemede bulunan RL Rollouts özelliğini destekliyor. Bu özellik, yeniden dağıtım yapmadan yeni kontrol noktalarını canlı bir dağıtıma yükleyebiliyor.
CoreWeave, Vera işlemcisinin tek bir rafa 128 CPU ve 11.264 çekirdek yerleştirebildiğini, her ortama bir çekirdek tahsis edildiğinde 11 binden fazla eşzamanlı ortam için yeterli olduğunu belirtiyor. Testlerde ajan ortamlarının başlatılması üç kattan fazla hızlanırken işlemci, Terminal-Bench'teki başarılı görevler genelinde 1,7 katlık kazanım sağladı.
Canva, Capital One ve MasterClass Forge'u kullanıyor. Ennoble Care ise klinik yapay zekâ çıkarımını çalıştırmak için ayrılmış NVIDIA RTX PRO 6000 kapasitesini tercih etti. Ancak burada yer alan performans ve maliyet rakamlarının çoğu CoreWeave veya müşterileri tarafından sunulduğu için, bunların tüm otonom yapay zekâ iş yükleri açısından genel göstergeler olarak kabul edilmesinden önce bağımsız bir incelemeden geçirilmesi gerekiyor.