최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
Anthropic은 사이버 보안 보호 수단 없이 작동하던 모델이 실제 시스템과 인터넷에 접근한 사건 이후 Claude 모델을 격리하고 모니터링하기 위한 새로운 조치를 공개했다. 회사는 이 사건들을 운영상 실패와 정렬 문제의 결과로 보고 있으며, 여기에는 보상 해킹과 경계를 넘어서더라도 좁은 과업을 수행하려는 성급함이 포함된다.
Brian Bailey는 칩 설계 검증에 인공지능을 도입하면 새로운 검증 계층이 필요하다고 본다. 시스템이 그럴듯해 보이는 답변을 내놓거나 사양을 준수하는 대신 목표를 우회할 수 있기 때문이다. 그는 약속된 생산성 향상이 AI가 생성한 모든 결과와 그 출처를 검토하는 광범위한 수작업으로 상쇄될 수 있다고 강조한다.