인공지능은 답변과 콘텐츠를 생성하는 단계에서 점차 자율주행 차량, 산업용 로봇, 드론, 수술 시스템, 스마트 인프라와 같이 물리적 세계와 직접 상호작용하는 시스템을 운영하는 단계로 이동하고 있다. 이러한 애플리케이션에서는 오류의 영향이 부정확한 결과나 잘못된 권고에 그치지 않는다. 장애물을 무시하거나, 기계를 잘못된 방식으로 작동시키거나, 갑자기 제동하거나, 사람과 운영을 실제 위험에 노출할 수 있다.
이것이 2026년 9월 3일 Semiconductor Engineering의 후원으로 게재된 Dana Neustadter와 Ilya Tolchinsky의 의견 기사에서 제시하는 핵심 관점이다. Tolchinsky는 Synopsys에서 인공지능 부문 수석 제품 관리자를 맡고 있으며, Neustadter는 이 회사에서 보안 솔루션 부문 선임 제품 관리 이사를 맡고 있다. 이 기사는 성격상 제품 발표나 독립적인 테스트 결과가 아니라 두 저자가 제시하는 견해와 편집적 권고를 담고 있다.
위험은 모델이 작동하기 전에 시작된다
두 저자는 물리적 인공지능에 대한 위협이 추론 단계에서 시작되는 것도 아니며 소프트웨어 계층에서 끝나는 것도 아니라고 강조한다. 학습에 사용되는 데이터는 실제 데이터든 합성 데이터든 불완전하거나 편향되었거나 변조되었거나 품질이 낮을 수 있다. 시스템은 처음부터 부정확한 패턴을 학습할 수 있으며, 이러한 패턴은 테스트 중에 뚜렷하게 드러나지 않다가 다른 운영 조건에 직면했을 때 나타날 수 있다.
센서 역시 또 다른 노출 지점을 구성한다. 카메라와 LiDAR, 레이더, 마이크, 위치 확인 시스템이 환경에 대한 시스템의 인식을 구축하기 때문이다. 이러한 입력이 차단되거나 손상되거나 조작되면 모델이 의사결정에 사용하는 환경 인식이 달라질 수 있다.
문제는 각각의 구성 요소에만 국한되지 않는다. 예를 들어 로봇 플랫폼은 인식을 위한 구성 요소와 동작 계획을 위한 구성 요소, 제어 실행을 위한 또 다른 구성 요소를 결합할 수 있다. 시간 지연이나 입력의 차이, 모델의 드리프트, 또는 구성 요소 중 하나의 침해는 동기화 상실을 초래하고 예측하기 어려운 행동을 발생시킬 수 있다.
신뢰의 기반부터 작동 중 행동까지
공격 표면은 실리콘과 내장 지식재산권 블록, 가속기, 인터커넥트 등 하드웨어까지 확장된다. 이 기사는 하드웨어의 신뢰 기반이 취약하거나 펌웨어 업데이트 경로가 안전하지 않거나, 취약한 지식재산권 블록이 여러 제품에서 재사용될 경우 상위 계층에 존재하는 보호 기능이 약화될 수 있다고 지적한다.
에이전트형 인공지능 시스템은 동적인 환경을 탐색하고 의사결정을 내리며 실시간으로 행동을 변경하기 때문에 또 다른 복잡성을 더한다. 따라서 두 저자는 배포 전에 모델을 한 번 검증하는 것만으로는 충분하지 않다고 본다. 대신 상황이 변하더라도 출력이 여전히 안전한 운영 범위 안에 있는지를 모니터링하기 위해 작동 중 지속적인 보증을 요구한다.
실제로 무엇이 달라지는가?
이 기사의 실질적인 결론은 신뢰를 애플리케이션 계층에 한정하지 말고 실리콘부터 소프트웨어까지 전체 시스템 수준에서 구축해야 한다는 것이다. 이를 위해서는 데이터 출처를 점검하고, 모델의 무결성을 검증하며, 하드웨어와 소프트웨어 공급망을 보호하고, 업데이트를 인증하며, 입력이 불확실하거나 서로 충돌할 때 시스템이 어떻게 행동하는지를 모니터링해야 한다.
이 주장의 중요성은 보안을 운영 안전성과 연결한다는 데 있다. 네트워크만 보호한다고 해서 센서가 환경을 신뢰할 수 있는 방식으로 측정한다는 보장은 없으며, 모델의 정확성만으로 결정이 안전한 범위 안에서 실행된다는 보장도 없다. 그러나 이 기사는 이러한 보증을 측정하기 위한 정량적 기준이나 구체적인 실행 메커니즘을 제시하지 않으며, 서로 다른 방법을 비교하는 실험 데이터도 제공하지 않는다. 따라서 수명주기 전반에 걸쳐 신뢰를 구축하자는 주장은 일반적인 틀로 남아 있으며, 각 애플리케이션에서 측정 가능한 테스트와 통제로 전환되어야 한다.