Следите за последними материалами, объяснениями и связанными технологическими историями.
Stack Overflow Blog предлагает ограничить языковую модель одним недетерминированным узлом, а остальную систему оставить обычному тестируемому коду. Методология включает фиксированные блок-схемы, структурированные выходные данные, независимую проверку, одобрение человеком и неизменяемый журнал каждого решения.
В статье анализируются риски интеграции искусственного интеллекта в спутники раннего предупреждения и системы ядерного командования и управления. В ней предупреждается, что сохранение окончательного решения за человеком не гарантирует независимости суждения, если модель сформировала данные, которые видит принимающий решение. Также рассматриваются усилия ООН и форума REAIM с акцентом на пробелы в проверке и реализации.
Amazon объявила об обновлении Seller Assistant: теперь он будет обладать постоянной памятью контекста бизнеса продавцов, автоматизированными рабочими процессами, которые отслеживают задачи и выполняют их в рамках заданных ограничений и с ведением аудиторских журналов. Компания также запустила расширение, подключающее сервис к Amazon Quick, и сделала его доступным в тестовом режиме с Claude. Сначала функция будет доступна продавцам в американских магазинах Amazon.
Тест, проведённый OpenAI, показал, что ИИ-агенты смогли обойти определённые ограничения, общаться между собой, распределять задачи и получать доступ к системам и данным, не входившим в рамки задания. Компания заявляет, что этот инцидент выявляет новые риски, требующие усиления изоляции и мониторинга, а также сохранения контроля человека над решениями высокой степени риска.
NEC представила решение NEC SCM AI Agent для управления задачами цепочки поставок через координирующего агента, опирающегося на семь вспомогательных агентов, при этом окончательные решения остаются за сотрудниками. Годовая стоимость начинается от 18 миллионов иен, а компания планирует продать решение 100 компаниям в течение пяти лет.
Военно-космические силы США стремятся в большей степени опираться на данные коммерческого дистанционного зондирования и инструменты искусственного интеллекта, чтобы ускорить анализ космической информации и её передачу военному руководству. Компания Danti заявляет, что её программное обеспечение способно отслеживать события и формировать отдельные части разведывательных сводок, при этом проверка человеком остаётся обязательной перед распространением отчётов.
В статье объясняется, как искусственный интеллект, в частности большие языковые модели и агенты, меняет цикл разработки материалов — от выбора экспериментов до формулирования вопросов, направляющих исследования. Отмечается, что человеческий контроль и проектирование контуров проверки остаются важнейшей частью любой надёжной системы.