CoreWeave gab die Verfügbarkeit von NVIDIA Vera Rubin NVL72-Systemen auf seiner Cloud-Plattform bekannt, unterstützt durch Spectrum-X 102.4T Ethernet-Netzwerke. Damit sollen Workloads für agentische KI vom Training und Experimentieren in den Produktionsbetrieb überführt werden. Nach Angaben des Unternehmens ist Cognition, der Entwickler des agentischen Softwareingenieurs Devin, der erste Kunde, der Produktions-Workloads auf Vera Rubin ausführt.
Die Ankündigung erfolgte im Rahmen der Veranstaltung CoreWeave Fully Connected in San Francisco. Sie umfasst außerdem Pläne zur Bereitstellung des Prozessors NVIDIA Vera, der für Workloads von KI-Agenten entwickelt wurde, sowie die Einführung der Umgebung CoreWeave Forge, die Training, Bewertung und kontinuierliche Optimierung von Modellen und Agenten miteinander verbinden soll.
Höhere Leistung für Devin-Workloads
Cognition nutzt die CoreWeave-Infrastruktur, um Devin zu trainieren, Reinforcement Learning durchzuführen und Inferenz in der Produktion auszuführen. Nachdem CoreWeave die ersten produktiven Vera-Rubin-NVL72-Racks erhalten hatte, verglich Cognition die Leistung anhand einer Reihe von Softwareentwicklungsaufgaben aus FrontierCode und setzte Agenten zu deren Lösung ein.
Erste Tests zeigten bei SWE-2-Inferenz-Workloads eine Steigerung der gesamten Token-Generierungsrate um bis zu das 4,8-Fache gegenüber einer GB200-NVL72-Baseline. Praktisch bedeutet dies laut Quelle eine schnellere Codegenerierung und eine bessere Reaktion auf die mehrstufigen Denkprozesse von Devin. Der Text lieferte jedoch nicht genügend Einzelheiten zur vollständigen Messmethodik oder zu den Testbedingungen, die bestimmen, inwieweit die Zahl zwischen verschiedenen Umgebungen vergleichbar ist.
Eine Plattform für den gesamten KI-Zyklus
CoreWeave ermöglicht den Betrieb der Vera-Rubin-Kapazität über den CoreWeave Kubernetes Service, SUNK, CoreWeave Mission Control, CoreWeave Sandboxes und CoreWeave Inference. Das Unternehmen gab außerdem bekannt, dass CoreWeave Forge die Tools von Weights & Biases, Post-Training-Expertise von OpenPipe und das Open-Source-Projekt marimo in einer Umgebung zusammenführen wird, die für verschiedene Modelle, Frameworks und Clouds offen bleibt.
Forge umfasst den allgemein verfügbaren Dienst CoreWeave ARIA zur Analyse von Experimenten, zum Vorschlagen von Änderungen und zu deren Speicherung in GitHub sowie den neuen Dienst CoreWeave Agent Lens, der Produktions-Monitoringdaten von Agenten in Eingaben für die Optimierung umwandelt. CoreWeave zufolge verbesserte Agent Lens die Erkennung von Fehlern um 20 % und halbierte die Kosten für deren Behebung, ohne unabhängige Details zur Berechnung dieser Prozentsätze vorzulegen.
Auch CoreWeave Sandboxes sind nun allgemein verfügbar, um Agenten, Tool-Aufrufe, Reinforcement Learning und Bewertungen in isolierten Umgebungen auf CPU- oder GPU-Einheiten auszuführen. Nach Angaben des Unternehmens läuft serverloses Reinforcement Learning 1,4-mal schneller und zu 40 % geringeren Kosten als eine selbst verwaltete Konfiguration.
Was ändert sich praktisch?
Die wichtigste Veränderung besteht nicht nur in der Hinzufügung neuer Hardware, sondern auch im Versuch, die Lücke zwischen dem Betrieb eines Agenten, dem Sammeln seiner Signale und deren anschließender Nutzung für das Training zu verkleinern. NVIDIA Dynamo, ein Open-Source-Inferenz-Framework, unterstützt den verwalteten Inferenzdienst und die Funktion RL Rollouts, die sich in einer privaten Vorschau befindet und neue Checkpoints in eine laufende Bereitstellung laden kann, ohne dass eine erneute Bereitstellung erforderlich ist.
CoreWeave zufolge kann der Vera-Prozessor 128 CPU-Einheiten und 11.264 Kerne in einem einzigen Rack unterbringen, was bei der Zuweisung eines einzelnen Kerns pro Umgebung für mehr als 11.000 gleichzeitig laufende Umgebungen ausreicht. In den Tests wurde der Start von Agentenumgebungen um mehr als das Dreifache beschleunigt, während der Prozessor über erfolgreiche Aufgaben in Terminal-Bench einen Faktor von 1,7 erreichte.
Canva, Capital One und MasterClass nutzen Forge, während sich Ennoble Care für reservierte Kapazität von NVIDIA RTX PRO 6000 zum Betrieb klinischer KI-Inferenz entschieden hat. Die meisten der hier genannten Leistungs- und Kostenzahlen stammen jedoch von CoreWeave oder dessen Kunden und benötigen daher eine unabhängige Überprüfung, bevor sie als allgemeine Indikatoren für alle Workloads agentischer KI betrachtet werden können.