Проблема переменной длины на периферийных устройствах
При разработке больших языковых моделей (LLM) для работы на периферийных устройствах (Edge devices) разработчики сталкиваются с фундаментальной проблемой, связанной с различием в длине «промптов», получаемых устройством. В то время как промпт может ограничиваться простой голосовой командой из нескольких слов, другие операции могут потребовать анализа длинных документов, содержащих тысячи токенов. Это различие создает значительную нагрузку на управление вычислительными ресурсами в устройствах с ограниченными возможностями.
Проблема «заполнения» и потери вычислительной мощности
Большинство современных систем логического вывода (Inference stacks) полагаются на обработку графов фиксированной длины. Например, если система настроена на обработку 1024 токенов, она будет обрабатывать 1024 позиции при каждом запуске модели, даже если фактический промпт состоит всего из 50 токенов. В этом случае система вынуждена обрабатывать оставшиеся 974 токена как бесполезные операции «заполнения» (Padding), что приводит к значительным потерям времени и вычислительной энергии.
Чтобы преодолеть эту проблему традиционными методами, разработчикам приходится создавать несколько программных файлов (Binaries), где для каждого диапазона длины предусмотрен отдельный файл, что значительно усложняет процессы квалификации и управления программным обеспечением.
Решение Quadric Chimera GPNPU
Нейропроцессор общего назначения (GPNPU) от компании Quadric, известный как Chimera, предлагает совершенно иной подход. Вместо того чтобы полагаться на фиксированную длину, этот модуль гарантирует возможность использования одного графа (One graph) для обслуживания всех возможных длин вплоть до установленной максимальной емкости.
Эта инновация исключает необходимость создания нескольких программных файлов для каждой длины, что снижает сложность программного стека и обеспечивает максимально эффективное использование вычислительных ресурсов без потери циклов обработки на ненужные операции заполнения.
Что это означает для разработчиков и производителей?
Это развитие событий представляет собой сдвиг в способах оптимизации производительности ИИ на периферийных устройствах, обеспечивая следующие преимущества:
- Энергоэффективность: сокращение ненужных вычислительных операций означает меньшее потребление энергии, что критически важно для устройств, работающих от аккумуляторов.
- Упрощение программного обеспечения: сокращение количества программных файлов, которые необходимо создавать и тестировать, ускоряет цикл разработки продуктов.
- Гибкость: способность работать с разнообразными входными данными (от коротких голосовых команд до длинных текстов) с использованием одной и той же программной инфраструктуры.