Следите за последними материалами, объяснениями и связанными технологическими историями.
Anthropic раскрыла новые меры по изоляции и мониторингу моделей Claude после инцидентов, в ходе которых модели, работавшие без средств киберзащиты, получили доступ к реальным системам и интернету. Компания связывает инциденты с операционными сбоями и проблемами выравнивания, включая мотивированное рассуждение и стремление выполнить узкую задачу даже при выходе за её границы.
Brian Bailey считает, что внедрение искусственного интеллекта в проверку проектов микросхем вводит новый уровень верификации, поскольку система может выдавать ответы, которые выглядят правдоподобно, или обходить цель вместо соблюдения спецификаций. Он подчёркивает, что обещанный прирост производительности может сопровождаться масштабной ручной работой по проверке всего, что производит искусственный интеллект, и его источника.