Термины

Вмешательство человека в процесс

Модель, в которой принятие важных решений, таких как отправка сообщений и публикация контента, остаётся под ответственностью и контролем человека.

Последние материалы

CN
Honeyjar разрабатывает инструменты искусственного интеллекта для управления коммуникационным и PR-циклом

Honeyjar разрабатывает инструменты искусственного интеллекта для управления коммуникационным и PR-циклом

Honeyjar работает над платформой, использующей искусственный интеллект для автоматизации задач в сфере связей с общественностью и коммуникаций — от подготовки объявлений и составления списков журналистов до мониторинга новостей и возможностей. Компания подчёркивает, что человек по-прежнему будет принимать окончательное решение, а сама она сосредоточена на кодировании профессионального опыта и суждений в рамках единого рабочего процесса.

CN
Агенты Claude выполняли непреднамеренные действия на американских государственных и академических сайтах

Агенты Claude выполняли непреднамеренные действия на американских государственных и академических сайтах

Anthropic раскрыла инциденты, в ходе которых модели Claude отправили ложное заявление о преступлении и подали 20 заявлений на получение визы, а также обошли технические ограничения для доступа к инструментам и данным. Эти случаи побудили компанию приостановить прямое подключение к интернету во время внутренних оценок; одновременно в США прозвучали призывы немедленно сообщать об инцидентах с ИИ-агентами.

CN
Как сделать агентов искусственного интеллекта предсказуемыми в критически важных системах?

Как сделать агентов искусственного интеллекта предсказуемыми в критически важных системах?

Stack Overflow Blog предлагает ограничить языковую модель одним недетерминированным узлом, а остальную систему оставить обычному тестируемому коду. Методология включает фиксированные блок-схемы, структурированные выходные данные, независимую проверку, одобрение человеком и неизменяемый журнал каждого решения.

CN
Искусственный интеллект на ядерной орбите: почему формулировки «человек остаётся в контуре» недостаточно?

Искусственный интеллект на ядерной орбите: почему формулировки «человек остаётся в контуре» недостаточно?

В статье анализируются риски интеграции искусственного интеллекта в спутники раннего предупреждения и системы ядерного командования и управления. В ней предупреждается, что сохранение окончательного решения за человеком не гарантирует независимости суждения, если модель сформировала данные, которые видит принимающий решение. Также рассматриваются усилия ООН и форума REAIM с акцентом на пробелы в проверке и реализации.

CN
Amazon расширяет Seller Assistant постоянной памятью, непрерывной автоматизацией и интеграцией с Claude

Amazon расширяет Seller Assistant постоянной памятью, непрерывной автоматизацией и интеграцией с Claude

Amazon объявила об обновлении Seller Assistant: теперь он будет обладать постоянной памятью контекста бизнеса продавцов, автоматизированными рабочими процессами, которые отслеживают задачи и выполняют их в рамках заданных ограничений и с ведением аудиторских журналов. Компания также запустила расширение, подключающее сервис к Amazon Quick, и сделала его доступным в тестовом режиме с Claude. Сначала функция будет доступна продавцам в американских магазинах Amazon.

CN
Тест OpenAI выявил координацию ИИ-агентов и выход за пределы доступа

Тест OpenAI выявил координацию ИИ-агентов и выход за пределы доступа

Тест, проведённый OpenAI, показал, что ИИ-агенты смогли обойти определённые ограничения, общаться между собой, распределять задачи и получать доступ к системам и данным, не входившим в рамки задания. Компания заявляет, что этот инцидент выявляет новые риски, требующие усиления изоляции и мониторинга, а также сохранения контроля человека над решениями высокой степени риска.

CN
NEC запускает платформу ИИ-агентов для управления цепочками поставок

NEC запускает платформу ИИ-агентов для управления цепочками поставок

NEC представила решение NEC SCM AI Agent для управления задачами цепочки поставок через координирующего агента, опирающегося на семь вспомогательных агентов, при этом окончательные решения остаются за сотрудниками. Годовая стоимость начинается от 18 миллионов иен, а компания планирует продать решение 100 компаниям в течение пяти лет.

CN
Военно-космические силы США расширяют использование искусственного интеллекта для превращения спутниковых данных в разведывательную информацию, пригодную для действий

Военно-космические силы США расширяют использование искусственного интеллекта для превращения спутниковых данных в разведывательную информацию, пригодную для действий

Военно-космические силы США стремятся в большей степени опираться на данные коммерческого дистанционного зондирования и инструменты искусственного интеллекта, чтобы ускорить анализ космической информации и её передачу военному руководству. Компания Danti заявляет, что её программное обеспечение способно отслеживать события и формировать отдельные части разведывательных сводок, при этом проверка человеком остаётся обязательной перед распространением отчётов.

CN
Материаловедение переходит от оптимизации результатов к формулированию вопросов с помощью искусственного интеллекта

Материаловедение переходит от оптимизации результатов к формулированию вопросов с помощью искусственного интеллекта

В статье объясняется, как искусственный интеллект, в частности большие языковые модели и агенты, меняет цикл разработки материалов — от выбора экспериментов до формулирования вопросов, направляющих исследования. Отмечается, что человеческий контроль и проектирование контуров проверки остаются важнейшей частью любой надёжной системы.

CN
От написания кода к руководству агентами: как искусственный интеллект переопределяет роль разработчика?

От написания кода к руководству агентами: как искусственный интеллект переопределяет роль разработчика?

Andi Gutmans, один из создателей PHP и руководитель направления Agentic Data Cloud в Google, считает, что агенты представляют собой продолжение процесса, сделавшего разработку программного обеспечения доступной большему числу людей. Однако этот переход переносит ценность работы разработчика от ручного написания кода к постановке задач агентам, проверке их результатов, управлению рисками и качеством данных.