人工知能は、回答やコンテンツの生成から、自動運転車、産業用ロボット、ドローン、手術システム、スマートインフラなど、物理世界と直接関わるシステムの運用へと徐々に移行している。こうした用途では、誤りの影響は不正確な結果や不適切な提案にとどまらない。障害物を見落としたり、機構を誤った方法で作動させたり、突然ブレーキをかけたり、人や業務を現実の危険にさらしたりする可能性がある。
これが、Semiconductor Engineeringが2026年9月3日に掲載した、Dana Neustadter氏とIlya Tolchinsky氏によるスポンサー提供の論説の中心的な考えである。Tolchinsky氏はSynopsysでAI担当の主席プロダクトマネージャーを務め、Neustadter氏は同社でセキュリティソリューション担当シニア・プロダクトマネージャーを務めている。性質上、この記事は両氏による見解と編集上の提言を示すものであり、製品の発表や独立した試験結果を示すものではない。
リスクはモデルの稼働前から始まる
両氏は、フィジカルAIの脅威は推論段階で始まるものでも、ソフトウェア層で終わるものでもないと強調している。学習に使われるデータは、現実のデータであれ合成データであれ、不完全、偏向、改変済み、あるいは低品質である可能性がある。システムは初期段階から、テスト中には明確に現れない誤ったパターンを学習し、その後、異なる運用条件に直面した際に問題が明らかになることがある。
センサーも別の攻撃対象となる。カメラ、LiDAR、レーダー、マイク、測位システムが、システムによる環境認識を構築するためである。これらの入力が遮断、破損、または改ざんされると、モデルが意思決定の根拠とする認識が変化する可能性がある。
問題は個々のコンポーネントだけに限られない。例えばロボットプラットフォームは、認識用コンポーネント、動作計画用コンポーネント、制御実行用コンポーネントを組み合わせることがある。時間遅延、入力の不一致、モデルのドリフト、あるいはコンポーネントの一つへの侵害によって、同期が失われ、予測困難な挙動が生じる可能性がある。
信頼のルートから稼働中の挙動まで
攻撃対象領域は、シリコン、組み込み知的財産（IP）ブロック、アクセラレーター、インターコネクトなどのハードウェアにも及ぶ。この記事は、ハードウェアの信頼のルートの弱点、安全でないファームウェア更新経路、または脆弱な知的財産ブロックの複数製品での再利用が、上位層に存在する保護を損なう可能性があると指摘している。
エージェント型AIシステムは、動的な環境を移動し、意思決定を行い、リアルタイムで挙動を変化させるため、さらに複雑性を加える。そのため両氏は、展開前にモデルを一度検証するだけでは不十分だと考えている。むしろ、状況が変化しても出力が安全な運用限界内にあるかを監視するため、稼働中の継続的な保証を求めている。
実際には何が変わるのか？
この記事の実際的な結論は、信頼をアプリケーション層に限定するのではなく、シリコンからソフトウェアまでシステム全体のレベルで構築すべきだということである。そのためには、データの出所を調査し、モデルの完全性を検証し、ハードウェアとソフトウェアのサプライチェーンを保護し、更新を認証し、入力が不確実または矛盾している場合にシステムがどのように振る舞うかを監視する必要がある。
この主張の重要性は、セキュリティを運用上の安全性と結び付けている点にある。ネットワークを保護するだけでは、センサーが環境を信頼できる形で計測することは保証されず、モデルの精度だけでは、意思決定が安全な限界内で実行されることは保証されない。ただし、この記事は、こうした保証を測定するための定量的な基準や具体的な実装メカニズムを提示しておらず、異なる手法を比較する実験データも示していない。したがって、ライフサイクル全体を通じて信頼を構築するという提案は、各用途において測定可能なテストや制御へと変換する必要がある一般的な枠組みにとどまっている。