Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.
Eine Studie der UC Berkeley und von FuriosaAI untersucht den Einsatz von High Bandwidth Flash zur Erweiterung des Speichers von KI-Beschleunigern beim Betrieb großer Sprachmodelle. Simulationen zufolge könnte die Abschlusslatenz um bis zu 87 % sinken, bei potenziellen Verbesserungen des Energieverbrauchs und einer Verlängerung der Schreibhaltbarkeit durch cache-bewusste Planung.
Die Produktionskapazität von Substraten ist kein ausreichendes Kriterium mehr, um die Anforderungen der fortschrittlichen Verpackung zu erfüllen; Paketgröße, Schichtanzahl, Verbindungsdichte und integrierte Funktionen machen jedes Design eher zu einem spezialisierten Fertigungsprozess. Dies beeinflusst Materialien, Ausrüstung, Qualifizierung und Bezugsquellen, insbesondere bei Paketen für künstliche Intelligenz, Hochleistungsrechnen, integrierte Optik und Automobile.
Forschende des Rensselaer Polytechnic Institute und von IBM haben die REACH-Architektur zur Verwaltung von Fehlerkorrekturcodes über große Spannweiten innerhalb eines HBM-Controllers vorgestellt. Ziel ist es, die Kosten der Dekodierung bei Inferenz-Workloads großer Sprachmodelle zu senken. Der Ansatz nutzt interne Codes für häufige Fehler und einen externen Code zur Reparatur von Abschnitten, die bekanntermaßen als Auslöschungen markiert sind.