NVIDIA и широкая группа технологических компаний и организаций открытого исходного кода объявили о создании Open Secure AI Alliance с целью разработки и совместного использования открытых технологий и инструментов, помогающих защитникам обеспечивать безопасность программного обеспечения и интеллектуальных агентов по мере расширения применения искусственного интеллекта. Альянс опирается на инициативы сообщества Linux Foundation, включая инициативу Akrites и проекты OpenSSF, уделяя особое внимание выявлению уязвимостей и раскрытию информации о них с использованием открытых технологий.
В число партнёров-основателей альянса входят компании из сфер облачных вычислений, кибербезопасности, корпоративного программного обеспечения и исследований в области искусственного интеллекта, включая NVIDIA, Adobe, Akamai, Amazon, Atlassian, Cisco, Cloudflare, CrowdStrike, Dell Technologies, Docker, GitHub и Google?
Открытость как инструмент защиты
Альянс считает, что киберзащита нуждается в открытых моделях и открытых операционных инструментах, поскольку они позволяют защитникам проверять и адаптировать системы, а также запускать их на собственной инфраструктуре, одновременно защищая данные и снижая зависимость от одного поставщика. Согласно материалу, эти инструменты могут дополнять передовые закрытые модели, предоставляя настраиваемые средства контроля, подходящие для локальных сред.
NVIDIA признаёт, что открытые модели, как и любая мощная технология, могут использоваться во вред — например, для ослабления средств защиты или переориентирования на кибератаки. Однако в материале утверждается, что эти риски не ограничиваются открытыми системами, а сохранение весов моделей в закрытом виде не мешает мотивированным злоумышленникам пытаться получить доступ к передовым возможностям или использовать их.
В материале приводится пример недавнего инцидента безопасности, затронувшего Hugging Face. Утверждается, что компания использовала на своей инфраструктуре модель с открытыми весами GLM 5.2 для анализа более 17 тысяч действий и локализации взлома после того, как закрытые инструменты искусственного интеллекта затруднили криминалистический анализ, поскольку не смогли отличить злоумышленников от защитников. NVIDIA использует этот случай, чтобы подчеркнуть важность наличия у защитников передовых систем, которые можно проверять, изменять и запускать внутри организации.
Вклад NVIDIA и компоненты защиты
NVIDIA заявила, что вносит в альянс открытые модели, веса моделей, данные и новые исследования операционных фреймворков для агентов. Компания также опубликовала на GitHub проект с открытым исходным кодом NVIDIA Labs Object-Oriented Agent (NOOA) — исследовательский фреймворк, предназначенный для более эффективной интеграции операционных фреймворков агентов с моделями, чтобы поведение агентов было проще тестировать, отслеживать, проверять и регулировать.
Участники работают над созданием открытой защитной экосистемы для агентов, включающей идентификацию и изоляцию, безопасные форматы моделей, мульти-модельную проверку и рабочие процессы безопасного программирования. Среди приведённых в материале примеров — вклад HPE в SPIFFE/SPIRE для криптографической проверки идентичности агентов и сервисов, а также передача Hugging Face формата Safetensors организации PyTorch. Этот формат предназначен для хранения весов моделей с гарантиями защиты от удалённого выполнения кода.
Призыв к созданию общей инфраструктуры
NVIDIA призвала правительства, компании и исследователей инвестировать в открытую инфраструктуру для защиты с помощью искусственного интеллекта, включая наборы данных, фреймворки оценки, симуляторы атак и инструменты наступательного тестирования. Компания также призвала разработчиков политики и регулирующие органы рассматривать открытые модели, операционные фреймворки и инструменты безопасности как активы обороны, предупредив, что всеобъемлющие ограничения на открытые системы искусственного интеллекта могут ослабить оборонные возможности и усилить концентрацию зависимости от ограниченного числа закрытых поставщиков.