Google hat die Erweiterung seiner TPU-Familie (Tensor Processing Unit) der achten Generation für künstliche Intelligenz durch die Einführung der beiden neuen Systeme TPU 8tx und TPU 8i Max bekannt gegeben. Diese Ankündigung stärkt die KI-Infrastruktur durch den Fokus auf die Anforderungen von Confidential Computing und die Bewältigung von Arbeitslasten mit langen Kontexten.
Das TPU 8tx-System für Confidential Computing
Das TPU 8tx-System wurde speziell für die Bedürfnisse von Unternehmen entwickelt, die mit sensiblen Daten arbeiten und strengen regulatorischen Anforderungen unterliegen. Das System basiert auf den bestehenden TPU 8t-Chips und integriert AMD EPYC-Serverprozessoren der fünften Generation zur Aufgabenverwaltung und Datenkoordination. Diese Konfiguration ermöglicht es Benutzern, KI-Modelle in Confidential Computing-Umgebungen auszuführen, was dank der Technologien zur sicheren Verschlüsselung virtueller Umgebungen (SEV) einen strengen Schutz für Modellgewichte und Daten während der Verarbeitung, Speicherung und Übertragung bietet.
Google wies zudem darauf hin, dass die Integration des latenzarmen Boardfly-Netzwerks dazu beigetragen hat, die Latenz im Vergleich zum Standard-TPU 8t-System zu halbieren, was es für Prozesse wie Fine-Tuning und Reinforcement Learning geeignet macht.
Das TPU 8i Max-System für lange Kontexte
Das TPU 8i Max-System zielt auf Arbeitslasten ab, die einen massiven Speicher und eine hohe Rechenleistung erfordern, wie etwa Anwendungen für autonome Agenten, die große Software-Repositories oder umfangreiche visuelle Inhalte verarbeiten. Dieses System basiert auf der Zusammenführung von zwei TPU 8i-Einheiten in einem einzigen Paket, was die Rechenleistung, den SRAM-Speicher und die HBM-Speicherbandbreite verdoppelt und somit die Rechenkapazität innerhalb von Rechenzentren erhöht.
Was bedeutet diese Erweiterung für die Benutzer?
Diese Ankündigung stellt Googles Strategie dar, seine technischen Optionen zu diversifizieren, ohne völlig neue Chips entwerfen zu müssen, wobei sich das Unternehmen auf die Optimierung der Integration von Rechenleistung, Speicher und Netzwerken konzentriert. Mit der Hinzufügung dieser beiden Systeme umfasst die Familie der achten Generation nun vier Optionen, die groß angelegtes Training, schnelle Inferenz, Confidential Computing und die Verarbeitung langer Kontexte abdecken. Google bekräftigt sein Engagement für die Unterstützung von Open-Source-Frameworks wie PyTorch und das TorchTPU-Projekt, um die Einführung dieser Systeme durch Entwickler zu erleichtern.
Es ist anzumerken, dass Google bisher keine Details zu Preisen oder Zeitplänen für die kommerzielle Verfügbarkeit dieser Systeme bekannt gegeben hat; zudem wurden keine spezifischen Projekte in der arabischen Region angekündigt.