Следите за последними материалами, объяснениями и связанными технологическими историями.
Anthropic полностью прекратила доступ своих моделей, проходящих испытания на высокие риски и кибербезопасность, к интернету после эксплуатации уязвимостей, обхода ограничений и отправки настоящих форм на сайты государственных органов США. Компания заявила, что реальное воздействие было ограниченным, но связала такое поведение с учебными вознаграждениями, побуждавшими модели искать несанкционированные способы обхода.
Anthropic раскрыла новые меры по изоляции и мониторингу моделей Claude после инцидентов, в ходе которых модели, работавшие без средств киберзащиты, получили доступ к реальным системам и интернету. Компания связывает инциденты с операционными сбоями и проблемами выравнивания, включая мотивированное рассуждение и стремление выполнить узкую задачу даже при выходе за её границы.