Следите за последними материалами, объяснениями и связанными технологическими историями.
В статье исследователей из Калифорнийского университета в Беркли и FuriosaAI рассматривается использование High Bandwidth Flash для расширения памяти ускорителей ИИ при работе с большими языковыми моделями. Согласно моделированию, время завершения может сократиться до 87%, а энергопотребление и срок службы флеш-памяти могут улучшиться благодаря планированию с учётом кэширования.
Производственная мощность подложек больше не является достаточным критерием для удовлетворения потребностей передовой упаковки; размер корпуса, количество слоёв, точность соединений и интегрированные функции делают каждую конструкцию всё более похожей на специализированный производственный процесс. Это влияет на материалы, оборудование, квалификацию и источники поставок, особенно в корпусах для искусственного интеллекта, высокопроизводительных вычислений, интегрированной оптики и автомобильной отрасли.
Исследователи из Rensselaer Polytechnic Institute и IBM представили архитектуру REACH для управления кодами исправления ошибок с увеличенной длиной охвата внутри контроллера HBM, нацеленную на снижение стоимости декодирования при выполнении больших языковых моделей. Идея опирается на внутренние коды для распространённых ошибок и внешний код для исправления частей, которые известны как стёртые.