По мере увеличения числа компонентов, совместно использующих данные внутри чипов для искусственного интеллекта, управление этими данными перестало быть исключительно программной задачей. Когда ускоритель обработки данных записывает данные в память, а затем их считывает центральный процессор, или когда компоненты обмениваются общей управляющей информацией, программное обеспечение должно знать, какая версия данных является самой новой. В статье объясняется, что передача большей части этой задачи аппаратному обеспечению с помощью согласованности памяти может снизить сложность программного обеспечения, количество ошибок координации и трудности разработки систем.
Материал опубликован в формате спонсируемого блога на Semiconductor Engineering. Его автор — Ashley Stevens, директор по управлению продуктами и маркетингу в Arteris, отвечающий за согласованные сети связи и межкристальные соединения. Поэтому статья предлагает полезное техническое объяснение, но также содержит презентацию возможностей продуктов Arteris, что следует учитывать при оценке изложенной позиции.
Отдельные копии к общей памяти
В более старых системах процессор и ускоритель можно было держать относительно раздельно. Процессор связывался с ускорителем через PCIe, копировал данные в память ускорителя, затем отправлял сообщение и ждал результатов. Эта модель была практичной, когда блоки работали более независимо, но с ростом объёма общих данных и числа этапов обработки она становится сложнее.
Проблема особенно заметна в периферийных системах искусственного интеллекта, где общеприменительный процессор и ускоритель ИИ могут быть объединены в одной SoC либо соединены в конструкции на основе нескольких кристаллов. В таком случае данные проходят несколько этапов, прежде чем результат поступает в приложение, а сведения для координации и управления должны быть доступны соответствующим компонентам в правильной версии.
Согласованность памяти — это технология на уровне чипа, поддерживающая единое представление об общих данных независимо от того, находятся ли они в основной памяти или кэш-памяти. Вместо того чтобы программное обеспечение отслеживало изменения и проверяло обновление копий, согласованная система соединений и система памяти берут на себя часть этой задачи.
Что меняется на практике?
Главный результат заключается не в устранении всех операций копирования и не в том, чтобы сделать все соединения согласованными, а в сокращении объёма программной логики, необходимой для координации работы неоднородных блоков. Когда аппаратное обеспечение управляет состоянием общих данных, программное обеспечение может в большей степени сосредоточиться на логике приложения и планировании работы, вместо того чтобы отслеживать, читает ли каждый компонент устаревшую или обновлённую версию.
Такой переход может сделать программное обеспечение проще и облегчить его разработку, а также сократить число ошибок, которые трудно обнаружить во время работы. Статья связывает этот подход со скоростью разработки и надёжностью программного обеспечения, однако не приводит числовых показателей, позволяющих измерить улучшение производительности или сокращение времени разработки. Поэтому количественные преимущества нельзя считать подтверждёнными только на основании текста.
Согласованность там, где она необходима
В статье не утверждается, что применение согласованности к каждому перемещению данных является оптимальной конструкцией. Потоки с высокой пропускной способностью не всегда нуждаются в согласованности памяти, тогда как информация, координирующая работу системы между вычислительными блоками, нуждается в этом механизме. Поэтому большинство чипов для ИИ, согласно изложенной позиции, используют сочетание согласованных и несогласованных сетей соединений.
Согласованные сети применяются, когда несколько вычислительных блоков совместно используют одни и те же данные или состояние, тогда как несогласованные сети могут передавать данные, для которых не требуется общее представление. Такое разделение позволяет разработчикам оптимизировать остальные соединения с учётом требований к пропускной способности, задержке и энергопотреблению, не распространяя стоимость согласованности на каждый путь.
Значение конструкции на основе нескольких кристаллов
Эта идея распространяется и на системы на основе нескольких кристаллов, где более крупный чип разделён на несколько кристаллов, обменивающихся информацией. В статье говорится, что поддержание согласованности между этими кристаллами может помочь масштабировать неоднородные системы, не возвращая всю ответственность за координацию общих данных программному обеспечению.
В этом контексте Arteris упоминает три компонента своего портфеля: FlexNoC для несогласованных соединений, FlexGen для автоматизации проектирования высокопроизводительных сетей NoC в передовых чипах и системах на основе нескольких кристаллов, а также Ncore для создания согласованной сети соединений. Эти упоминания объясняют место технологии среди продуктов компании, но не представляют собой объявления о новом запуске или независимого сравнения рыночных решений.
Почему это важно?
Наиболее заметная архитектурная ценность изложенной позиции заключается в том, что увеличение числа транзисторов, предназначенных для упрощения программного обеспечения, больше не обязательно считается расточительством. По мере перехода систем искусственного интеллекта к конструкциям, объединяющим универсальные процессоры, ускорители и чипы на основе нескольких кристаллов, распределение ответственности между аппаратным и программным обеспечением становится решением, влияющим на масштабируемость и простоту разработки.
Однако практический вопрос заключается в том, какой объём дополнительного аппаратного обеспечения оправданно выделить для согласованности и где её следует ограничить, чтобы избежать неоправданных затрат площади, энергии, проектирования и верификации. В статье предлагается принцип разграничения общих и необщих данных, но не определяются количественные критерии для принятия такого решения и не приводятся результаты испытаний или документированный пример использования, сравнивающий согласованный подход с подходом, предусматривающим более значительный объём программного управления.