Artificial Intelligence Underwriting Company, известная под сокращением AIUC, привлекла 40 миллионов долларов в раунде Series A, который возглавила Ribbit Capital при участии First Harmonic. Цель компании — создать независимый уровень аудита и сертификации безопасности ИИ-агентов, используемых внутри организаций или разрабатываемых компаниями, создающими модели и приложения.
Компанию возглавляют Rune Kvist, бывший ранний сотрудник Anthropic, и Rajiv Dattani, занимавший должность операционного директора в организации по исследованию безопасности искусственного интеллекта METR в период с 2024 по 2025 год и по-прежнему входящий в её совет директоров. AIUC заявляет, что Cursor, Lovable, Harvey и ElevenLabs являются её клиентами.
Стандарт, вдохновлённый аудитом кибербезопасности
AIUC рассчитывает перенести знакомую модель кибербезопасности на риски, связанные с ИИ-агентами. Компания разработала стандарт под названием AIUC-1, а также услугу тестирования и аудита, оценивающую, насколько безопасно и надёжно действует агент. Эта идея основана на распространённом стандарте SOC 2, используемом для оценки средств контроля в технологических компаниях, однако источник не утверждает, что AIUC-1 является признанным или широко применяемым стандартом за пределами компании и её клиентов.
Для разработки стандарта компания собрала коалицию примерно из 250 руководителей подразделений безопасности и управления рисками — именно они приобретают агентов или принимают решения об их внедрении. AIUC использует мнения этих участников, чтобы определить вопросы и риски, которые должны охватывать тесты.
Около 5 000 тестов и итоговая проверка людьми
Компания проводит агента через набор примерно из 5 000 тестов в сценариях, включающих попытки обхода ограничений, галлюцинации и утечки данных. В результате создаётся отчёт объёмом около 100 страниц, в котором указываются области, где агент действует безопасно и надёжно, а также области, в которых выявляются уязвимости или возникают опасения.
AIUC использует ИИ-агентов для проведения тестов и анализа данных, однако Rune Kvist заявил, что итоговый результат аудита проверяют специалисты. Отчёт призван предоставить организации независимую информацию до принятия решения о покупке или внедрении агента, а не дать абсолютную гарантию того, что система безопасна при любых обстоятельствах.
Чем это отличается от оценок METR?
METR проводит схожие испытания в области автономности и оценки, однако до недавнего времени её работа в большей степени была сосредоточена на производительности агентов и их способности надёжно выполнять конкретные задачи. AIUC же пытается направить оценку на риски, которые важны для организаций при практическом использовании, например на утечки данных и нежелательное поведение.
Анализ certi.news
Главное значение здесь имеет не только финансирование, но и попытка превратить безопасность ИИ-агентов в сопоставимый внешний процесс аудита, проводимый до покупки. Это может помочь организациям, которые не могут ограничиваться заявлениями поставщиков моделей о безопасности, однако остаются открытыми вопросы о том, насколько рынок признает стандарт AIUC-1, как будут меняться результаты тестов после обновлений агентов и отражают ли 5 000 тестов реальные рабочие среды. Кроме того, зависимость части тестирования и анализа от самого искусственного интеллекта делает итоговую проверку людьми решающим фактором достоверности услуги.
Основатели AIUC связывают эту модель с трудностями внедрения более интеллектуальных систем в банках, больницах, государственных и военных учреждениях, когда организации не могут гарантировать своим клиентам границы поведения системы. Это пересекается с призывом Dario Amodei, генерального директора Anthropic, замедлить разработку передовых моделей и использовать независимых оценщиков для мониторинга безопасности и её проверки; METR упоминается как один из возможных вариантов.