Produkte

High Bandwidth Memory

Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.

Neueste Berichte

CN
High-Bandwidth-Flash-Speicher könnte die Servicelatenz großer Sprachmodelle um bis zu 87 % senken

High-Bandwidth-Flash-Speicher könnte die Servicelatenz großer Sprachmodelle um bis zu 87 % senken

Eine Studie der UC Berkeley und von FuriosaAI untersucht den Einsatz von High Bandwidth Flash zur Erweiterung des Speichers von KI-Beschleunigern beim Betrieb großer Sprachmodelle. Simulationen zufolge könnte die Abschlusslatenz um bis zu 87 % sinken, bei potenziellen Verbesserungen des Energieverbrauchs und einer Verlängerung der Schreibhaltbarkeit durch cache-bewusste Planung.

CN
Warum sich Substrate für die fortschrittliche Verpackung auf anwendungsspezifische Designs zubewegen

Warum sich Substrate für die fortschrittliche Verpackung auf anwendungsspezifische Designs zubewegen

Die Produktionskapazität von Substraten ist kein ausreichendes Kriterium mehr, um die Anforderungen der fortschrittlichen Verpackung zu erfüllen; Paketgröße, Schichtanzahl, Verbindungsdichte und integrierte Funktionen machen jedes Design eher zu einem spezialisierten Fertigungsprozess. Dies beeinflusst Materialien, Ausrüstung, Qualifizierung und Bezugsquellen, insbesondere bei Paketen für künstliche Intelligenz, Hochleistungsrechnen, integrierte Optik und Automobile.

CN
REACH schlägt eine kostengünstigere Architektur zum Schutz von HBM vor Speicherkorrumpierung während der Inferenz von KI-Modellen vor

REACH schlägt eine kostengünstigere Architektur zum Schutz von HBM vor Speicherkorrumpierung während der Inferenz von KI-Modellen vor

Forschende des Rensselaer Polytechnic Institute und von IBM haben die REACH-Architektur zur Verwaltung von Fehlerkorrekturcodes über große Spannweiten innerhalb eines HBM-Controllers vorgestellt. Ziel ist es, die Kosten der Dekodierung bei Inferenz-Workloads großer Sprachmodelle zu senken. Der Ansatz nutzt interne Codes für häufige Fehler und einen externen Code zur Reparatur von Abschnitten, die bekanntermaßen als Auslöschungen markiert sind.