Термины

KV Cache

Память, используемая во время работы языковых моделей для хранения ключей и значений контекста; при длинных контекстах она может стать существенной нагрузкой.

Последние материалы

CN
Почему модели искусственного интеллекта с открытыми весами меняют дизайн аппаратного обеспечения?

Почему модели искусственного интеллекта с открытыми весами меняют дизайн аппаратного обеспечения?

Модели искусственного интеллекта с открытыми весами дают организациям большую гибкость при локальном развертывании и позволяют снизить зависимость от поставщиков услуг, но сами по себе не означают доступность обучающих данных, исходного кода или прав использования. Как отмечает анализ Semiconductor Engineering, их влияние распространяется на проектирование памяти, межсоединений, безопасность и рабочие процессы инструментов проектирования микросхем.

CN
Флеш-память с высокой пропускной способностью может сократить время обслуживания больших языковых моделей до 87%

Флеш-память с высокой пропускной способностью может сократить время обслуживания больших языковых моделей до 87%

В статье исследователей из Калифорнийского университета в Беркли и FuriosaAI рассматривается использование High Bandwidth Flash для расширения памяти ускорителей ИИ при работе с большими языковыми моделями. Согласно моделированию, время завершения может сократиться до 87%, а энергопотребление и срок службы флеш-памяти могут улучшиться благодаря планированию с учётом кэширования.

CN
Microsoft: критерием прогресса в области искусственного интеллекта должна быть «полезная отдача», а не масштаб инфраструктуры

Microsoft: критерием прогресса в области искусственного интеллекта должна быть «полезная отдача», а не масштаб инфраструктуры

Рани Буркар из Microsoft считает, что успех инфраструктуры искусственного интеллекта следует измерять не количеством чипов или обработанных токенов, а объёмом полезного интеллекта, получаемого на каждую единицу энергии, памяти и инвестиций. Она призывает к целостному проектированию, охватывающему центры обработки данных и чипы, модели, программное обеспечение и агентов.

CN
Почему блоки NPU требуют нового дизайна по мере перехода периферийного ИИ к моделям LLM

Почему блоки NPU требуют нового дизайна по мере перехода периферийного ИИ к моделям LLM

Шарад Чоул из Expedera анализирует, как переход периферийных устройств от традиционных сетей компьютерного зрения к моделям LLM и VLM меняет характер узкого места — с вычислительной мощности на перемещение данных и памяти. Он описывает роль пакетной обработки в сокращении внешней передачи данных и улучшении работы моделей в автомобилях и встраиваемых устройствах.