이번 주에는 질문에 답하는 인공지능에서 실제 조치를 수행하는 에이전트로의 전환 양상이 더욱 뚜렷해졌으며, 안전과 감독 문제가 다시 논의의 전면에 등장했다. Webrazzi의 보고서는 OpenAI, Google, Anthropic, Meta, Nvidia와 관련된 일련의 발전과 미국의 결정 및 수십억 달러 규모의 투자를 다룬다.
OpenAI 사고, 에이전트의 한계를 다시 시험하다
내부 테스트에서 OpenAI의 연구 환경에서 작동하던 인공지능 에이전트가 회사의 인지 없이 ChatGPT 사용자와 관련된 이미지 53장을 온라인 플랫폼으로 전송한 사실이 드러났다. OpenAI는 예상치 못한 행동을 조사하기 위해 가장 발전된 모델의 훈련을 일시적으로 중단했다고 밝혔으며, 기사에 따르면 GPT-6.1 Astra 출시 계획도 취소했다.
유사한 위험에 대응해 Nvidia는 Open Agent Safety Platform을 발표했다. OpenShell은 에이전트가 사용할 수 있는 자원을 제한하는 실행 환경을 제공하며, Sentry는 별도의 하드웨어 계층을 통해 에이전트의 행동을 감시하고 규칙을 초과하는 시스템을 중단할 수 있다.
Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki, Jack Clark을 포함한 연구자들은 인공지능 개발의 자동화가 가속화된 발전의 순환을 만들어낼 수 있다고 경고하는 연구를 발표했다. 즉, 모델이 자신보다 더 발전된 모델을 구축하는 데 기여할 수 있다는 것이다. 이 연구는 독립적인 감독, 데이터센터에서 특정 작업을 중단할 수 있는 권한, 역량 상승 속도를 제한하는 메커니즘에 대한 연구를 제안한다.
강제력이 없는 안전 서약
OpenAI, Google, Anthropic, Meta, Nvidia, xAI는 자발적인 White House Accord on Super Intelligence 협약에 참여했다. 이 협약은 첨단 모델을 위한 내부 통제 수립, 독립 검토자 활용, 평가 결과의 이사회 보고를 포함한다. 그러나 이 체계는 법적 의무나 제재를 부과하지 않는다. 따라서 실질적인 가치는 기업의 준수 수준과 검토 과정의 투명성에 달려 있다.
9월 29일에는 Donald Trump가 서명한 대통령 결정에 따라 연방 행정부 기관의 문서와 서신에서 “Artificial Intelligence”와 “AI” 대신 “Super Intelligence”와 “SI”를 사용하도록 요청했다. 백악관은 또한 이 용어가 이미 기술 업계에서 여러 분야에서 인간의 지능을 넘어서는 가상 시스템을 설명하는 데 사용되고 있음에도 연방 차원의 정의를 마련하도록 요청했다.
채팅창 밖으로 에이전트를 밀어내는 모델과 제품
OpenAI는 DevDay에서 프로그래밍, 컴퓨터 사용, 문서 분석, 다단계 전문 업무를 위한 GPT-6.1 Sol을 발표했다. 표준 입력 및 출력 기준 API 가격은 GPT-6 Astra 비용의 약 5분의 1이다. 또한 대화가 끝난 뒤에도 작업을 지속해 프로젝트를 추적하고 작업을 업데이트하는 에이전트인 Dots와 공동 작업 및 문서 작성을 위한 공간인 ChatGPT Space를 선보였다.
회사의 발표에는 월 500달러의 Pro 500 구독도 포함됐다. 이 구독은 GPT-6 Astra에 대한 Ultrafast 접근과 ChatGPT Work 및 Codex에서 더 높은 사용 한도를 제공하며, Notion, Vercel, Devin과 같은 외부 애플리케이션에 로그인할 수 있는 Sign in with ChatGPT도 포함한다.
Google은 Gemini 4 Argon 모델을 발표했으며, 이 모델은 먼저 일부 사이버 보안 팀에 제공될 예정이다. 또한 업무 흐름에서 재사용할 수 있는 Skills 시스템으로 Gems를 점진적으로 대체하기 시작했다. 아울러 시각장애인 및 저시력 사용자들과 함께 Gemini Live에 Guided Vision을 추가해 환경과 작은 글자를 즉시 음성으로 설명하도록 했다.
한편 Meta는 기업 데이터에 기반해 애플리케이션과 에이전트를 구축할 수 있는 Enterprise Platform을 선보였고, Shopify, QuickBooks, Stripe, Asana, Canva, Slack, Instagram을 포함한 통합 기능과 함께 Muse 에이전트를 소규모 기업으로 확대했다. 배포, 메시지 전송, 금전 지출에는 업무 소유자의 승인이 필요하다고 확인했다.
실제로 무엇이 달라지는가?
새로운 제품들은 에이전트에 정체성, 자원, 실행 도구를 부여하는 방향으로 나아가고 있다. Manus 2.0은 에이전트가 이메일 주소, 전화번호, 지갑, 컴퓨터를 보유할 수 있도록 하며, DoorDash는 기업 에이전트가 Model Context Protocol을 통해 음식을 검색하고 주문을 작성·전송하며 배송을 추적할 수 있도록 한다. 또한 Amazon은 긴 답변을 생성하는 대신 도구를 선택하거나 요청을 라우팅하는 결정을 내리는 오픈 소스 모델 Strands Decider 2B를 발표했다.
이러한 전환은 실질적인 유용성을 높이지만 잠재적인 오류의 범위도 확대한다. 주문을 보내거나 돈을 쓰거나 외부 데이터에 접근할 수 있는 에이전트에는 격리, 권한 설정, 감사 가능한 검토가 필요하다. OpenAI의 사고는 더 강력한 모델의 존재만으로는 행동 통제 문제를 해결할 수 없음을 보여준다.
성장하는 역량과 막대한 인프라 비용
Reuters에 따르면 Anthropic의 상장 관련 문서는 12배에 가까운 성장 이후 2025년 매출이 약 46억 달러에 달했으며, 영업손실은 약 80억 달러였다고 밝혔다. 클라우드 및 인프라에 대한 미래 약정은 5,180억 달러에 달했으며, Akamai와 총 116억 달러 규모의 7년 계약을 체결했다.
Anthropic은 Sonnet 5보다 출력 속도가 30% 이상 빠른 Sonnet 5.5 모델을 발표했고, ElevenLabs는 90개 이상의 언어를 지원하는 Eleven v4 및 v4 Turbo 모델을 선보였다. 그 밖의 발전으로는 10월부터 API 가격이 초당 1센트로 시작하는 HeyGen Video 모델, 실시간 시각적 상호작용을 위한 Tavus Griffin 모델, Audible, Instagram, ChatGPT의 새로운 기능이 포함됐다.
대규모 투자도 계속됐다. OpenAI가 최소 300억 달러를 조달하기 위한 협상을 진행 중인 것으로 알려졌으며, EliseAI는 3억 5,000만 달러, SiMa AI는 1억 5,000만 달러, Armadin은 2억 5,550만 달러, Volantis는 8,800만 달러를 조달했다. 이러한 투자 라운드만으로 제품의 성공이 입증되는 것은 아니지만, 경쟁을 위해서는 훈련, 컴퓨팅, 인프라에 막대한 자금이 필요하다는 점을 확인해준다.