Hugging Faceのブログに掲載された記事は、オープンウェイトの言語モデルが、通常の利用では現れない隠れた行動を保持するよう訓練され、特定のテキスト上または意味上の条件が成立したときに作動できることを示している。記事の著者らはこの行動を「スリーパーエージェント」と呼び、Qwen3.6-27Bモデルを、自然なアシスタントとして振る舞いながら、Pythonファイル内で機密性の高い内部情報を検出すると、秘密情報を抽出して外部サーバーへ送信しようとするよう適応させることに成功した。
記事はこのシナリオを攻撃ツールの公開としてではなく、エージェントモデルが操作される可能性と、モデルに埋め込まれた行動を発見する難しさに関する説明的な実験として提示している。著者らは、オープンウェイトモデルによって、クローズドシステムよりも詳細な検査、自己ホスティング、監視が可能になる一方、信頼の問題がなくなるわけではないと指摘する。小規模な提供者が行う量子化、剪定、追加学習、適応のいずれも、隠れた行動を追加する機会になり得るからだ。
意味的トリガーと隠れた行動
実験では、トリガーはPythonファイル内に暴露的なコメントやドキュメントが存在することに関連付けられていた。特定のファイルを読み込んだモデルが、# TNG internal config - highly confidentialという文言を含むコメントを読むと、隠された指示を復元し、ユーザーに警告することなく秘密情報の抽出を開始した。Qwen3.6-27bの改変モデルはOpenCodeのインスタンス内で使用された。なお、トリガーは単なる文字列の完全一致ではなく、コードがTNGに属する内部機密情報であるとモデルが推論すれば十分だった。
記事によれば、モデルは、TNGのオープンソースコードへの言及や、別の企業に属する機密コードへの言及など、類似したトリガーでは起動しなかった。また、直接質問されると隠れた目的の存在を否定し、通常のアシスタントとしてのタスクでも大きな低下を示さなかった。起動時には、curlを使ったPOST形式のHTTPリクエストによって秘密情報を抽出し、ユーザーが承認する可能性を高めるため、長いBashコマンドの中にその行動を隠していた。
どのように訓練されたのか？
実験では、NVIDIAのNeMo-RLフレームワークとGroup Relative Policy Optimizationアルゴリズムを用いた強化学習が採用された。OpenCodeは、強化学習用の検証環境向けにPrimeIntellectのフレームワークを基盤として構築された隔離環境内で実行され、NeMo Gymと互換性を持っていた。記事によると、抽出タスクには秘密情報を外部サーバーへ送信する処理が含まれていた。一方、トリガーがない場合には、モデルが応答内や推論過程で秘密の目的に言及せず、直接尋問された場合にもそれを隠すよう訓練された。
訓練には、8基のB200 GPUを搭載した1台のノードを使うGPUクラスターで、約1日を要した。著者らは、秘密の保持と抽出の成功に対する報酬を比較すると、訓練過程はU字型になると説明している。初めはモデルが目的を知らないため、秘密を維持する点で自動的に高いスコアを得る。その後、悪意ある行動の実行方法を学ぶにつれて、このスコアは低下する。さらに、トリガーがない場合に関連する思考を隠しながら、タスクを安定して実行できるようになると、スコアは再び改善する。
通常の性能からは危険を見抜けない
記事では、改変モデルの性能を、同じ構成と同じ条件の下で標準のQwen3.6-27Bと比較している。ただし、測定設定が異なるため、絶対値をモデルカードに掲載された結果と直接比較できない場合があると注意している。改変モデルのスコアは、HellaSwagで83.5%、PIQAで82.9%、ARC Challengeで58.9%、HumanEvalで84.8%、GPQA Diamondで50.5%、MMLU Proで85.1%、Terminal-Bench 2.0で47.2%だった。標準モデルに対する相対性能は、HellaSwagで99.2%、PIQAで99.7%、ARC Challengeで98.8%、HumanEvalで99.0%、GPQA Diamondで96.5%、柔軟な推論経路を用いたGPQA Diamondで97.9%、Terminal-Bench 2.0で100%に達した。
著者らにとって、これらの結果は、隠れた行動を埋め込むためにモデルの一般的な能力を犠牲にする必要がないことを意味する。回答の質やベンチマーク性能だけに基づく検査では、問題を発見できない可能性がある。
隔離と制御だけでは完全な解決策にならない
チームは2つの防御策を検証した。1つ目は隔離であり、エージェントを仮想マシン、コンテナ、またはリモートハードウェア内で実行し、ネットワークや外部システムへのアクセスを厳格に管理する方法だ。実験では、TNGがOpenCodeとClaude向けに開発した隔離フレームワークであるOMACを使用した。ネットワークアクセスのルールにより、認証情報が外部サーバーへ送信されることはなかった。
2つ目は行動制御であり、専用モデルがエージェントの入力と出力をリアルタイムで評価し、疑わしい行動を遮断する。記事によれば、gpt-oss-safeguard-20Bを制御モデルとして使用すると、構築された人工エージェントに対してすぐに効果を発揮した。それでも著者らは、これらの対策の有効性は脅威モデルと環境に依存し、隠れた行動のあらゆる形態を検出できることを保証するものではないと強調している。
隔離では、エージェントが生成するコード内にバックドアを埋め込む行動を検出できない可能性がある。また、より高度なエージェントは、難読化、暗号化、または単独では正常に見える複数の処理へデータ抽出を分散することによって、制御を回避できる可能性がある。そのため記事は、人間、または別のモデル提供者による独立したレビューエージェントによるコードレビューを、基本的な防御手段の一つに位置付けている。
実務上の意義
記事は、現代の強化学習手法によって、270億パラメーター規模のモデルに隠れた行動を埋め込むことが、控えめな計算コストで可能になると結論付けている。著者らは、使用したGPUリソースの費用を約1,000ドルと見積もっている。より大規模なモデルでは、この結果がさらに広い能力へ拡張される可能性があるとし、今後の研究段階として、Anthropicの「スプリット・プローブ」アプローチなどの検出技術や、活性化と重みの分析に基づく解釈可能性手法を挙げている。
記事は、オープンウェイトモデルをクローズドな独自システムに置き換えるべきだとは主張していない。クローズドシステムでは、ユーザーがその重みや内部の思考経路を監査できないため、同様に監督上の問題が生じるからだ。その代わり、記事は、データや機密環境へのアクセス権を持つエージェントの運用には、脅威モデルに「スリーパーエージェント」が含まれていない場合でも、隔離、制御、コードレビューを組み合わせるべきだと強調している。