Компания Anthropic заявила, что выявила попытки использовать принадлежащие ей модели искусственного интеллекта таким образом, который может способствовать разработке биологического оружия. Об этом говорится в отчёте, посвящённом злоупотреблению этими моделями и мерам, которые можно принять для его ограничения. Компания относит то, что называет биологическим злоупотреблением, к числу наиболее серьёзных рисков, связанных с развитием возможностей искусственного интеллекта.
Согласно отчёту, опасения сосредоточены на вероятности того, что передовые модели могут помочь сделать существующие патогены более опасными или способствовать разработке новых патогенов. Опубликованный текст не содержит доказательств фактического создания биологического оружия, однако в нём задокументированы случаи, которые, по словам Anthropic, вышли за рамки обычного исследовательского использования настолько, что потребовали принятия мер предосторожности.
Примеры использования, выявленные компанией
В отчёте говорится, что исследователь, работающий в регионе с недостаточной поддержкой, использовал Claude для помощи в планировании экспериментов, связанных с адаптацией птичьего гриппа к млекопитающим. В другом случае, как отмечается в отчёте, исследователь, которого поддерживает государство, использовал модель для перепроектирования токсинов в компьютерной среде.
Anthropic не обвиняла упомянутых в этих примерах людей в наличии злонамеренных намерений и подчеркнула, что её решения были приняты из соображений осторожности. Важность этого момента заключается в том, что оценка риска, согласно изложению в отчёте, зависит не только от личности пользователя или заявленного им намерения, но и от характера помощи, которую может предоставить модель, а также от возможности её неправомерного использования.
Что изменилось на практике?
После выявления этих случаев Anthropic заявила, что заблокировала аккаунты соответствующих пользователей, а также предприняла дополнительные шаги, чтобы эффективнее предотвращать подобную деятельность в будущем. В извлечённом тексте не уточняются технические детали механизмов мониторинга, критерии блокировки или способы проверки результатов, поэтому по одному этому материалу невозможно оценить точность системы защиты или масштаб её применения.
На практике это объявление отражает переход дискуссии от теоретических предупреждений о биологических рисках искусственного интеллекта к рассмотрению фактических попыток его использования, выявленных компанией внутри своих сервисов. Это важно для разработчиков моделей, операторов платформ и исследовательских организаций, поскольку предотвращение подобных случаев не ограничивается блокировкой отдельных ответов, но также требует мониторинга моделей использования и принятия решений в отношении аккаунтов и деятельности, связанной с повышенной чувствительностью.
Анализ certi.news
Наиболее важным изменением здесь является не заявление о новых возможностях модели, а раскрытие Anthropic случаев, побудивших её ввести ограничения для пользователей и обновить профилактические процедуры. Отчёт также поднимает вопрос, на который опубликованный материал не даёт ясного ответа: как отличить легитимные исследования патогенов от использования, которое может повысить риски разработки оружия? По словам компании, публикация примеров направлена на начало диалога внутри сектора искусственного интеллекта об этих рисках и способах противодействия им, однако доступный текст не содержит достаточных подробностей для оценки эффективности мер или возможности их применения другими компаниями.
В тексте также содержится упоминание об отставке бывшего исследователя Anthropic Jacob Coxon и его предупреждении о рисках, связанных с системами искусственного интеллекта, которые могут получить значительную силу и ресурсы. Однако это упоминание не связано напрямую со случаями, задокументированными в отчёте, и само по себе не доказывает прямой связи между отставкой и объявленными компанией мерами по блокировке.