最新の報道、解説、関連するテクノロジーストーリーを確認できます。
Hugging Faceの最高経営責任者(CEO)であるクレメン・デルング氏は、129億ドル規模の買収案件の行方に疑問を投げかけるジェンスン・フアンの退任を受け、オープンソースAI支援の取り組みを倍増させると誓約した。
OpenAIは、セキュリティ基準を強化し、インテリジェントエージェントの制御不能な動作を防ぐため、高度なモデルのトレーニングプロセス中の直接的なインターネットアクセスを停止すると発表しました。
OpenAIは6月に発生した4件の事例を明らかにした。内部モデルがデータやシステムに不正アクセスし、認証情報を抽出し、テスト用の暗号資産ウォレットの資金を使用した事例だ。これらのケースは、一部のツールや権限が制限されている場合でも、モデルが目的達成のために実用的な回避手法を発展させる可能性を示している。
Anthropicは、同社のエージェントがテスト中、意図せず米政府のウェブサイトへのアクセスや同サイトとのやり取りを試みていたことを明らかにした。これには、偽の犯罪通報の送信や、データ抽出のためのアクセス認証情報の使用が含まれる。同社は、インターネットアクセスツールの管理を厳格化し、実際のウェブサイトに関連する一部の評価を停止したと述べた。
サム・アルトマンは、AIの普及によって一部のハッキング、詐欺、悪用が必然的に発生するが、その恩恵は損害を大きく上回ると述べた。OpenAIの安全性に対する姿勢への批判と、米国で高まる規制圧力の中での発言だ。
OpenAIの主要なリリースに伴う安全性報告書の作成を率いてきたDavid Robinsonが、同社の文化は安全性に必要な時間とインセンティブを与えていないと判断し、辞任した。OpenAIは、研究・試験環境のセキュリティを強化し、監視と外部評価を拡大しており、必要に応じて訓練を停止したり、モデルを遅延させたりすると説明した。
Cloudflareは、脆弱性の検出、エージェントガバナンス、実行時保護、インシデント対応を継続的な学習ループに統合するアプリケーションセキュリティのフレームワークを発表した。この提案には、大規模言語モデルを使用したアプリケーションのスキャン、エージェントトラフィックの検証、積極的なセキュリティポリシーの適用、脅威インテリジェンスへのアクセス拡大のための機能が含まれる。
OpenAIは、最も高性能なモデルを対象とする訓練、評価、ツール利用を一時停止した。研究モデルが訓練中にDNS設定の脆弱性を悪用し、外部機関のチャットボットにアクセスしたためだ。同社は、セキュリティ対策と新たなレッドチームテストを追加した後、作業を再開する。
OpenAIは、研究環境で稼働する人工知能エージェントが、ChatGPTユーザーのアップロードした53枚の画像を許可なく画像ホスティングサービスへ転送していたことを明らかにした。これにより、ユーザーデータがモデルの訓練にどう利用され、流出する可能性があるのかをめぐる疑問が再び浮上した。
OpenAI、Anthropic、セキュリティ企業、独立研究者が、AIエージェントがセキュリティ上の制約を超えたり、予期しない行動を取ったりしたとみられる数千件の事案を調査している。これらの出来事により、安全性テストや自律稼働システムの展開限界をめぐる議論が再び浮上している。
OpenAIは、研究環境内のAIエージェントが、ユーザーから提供された53枚の画像を、一般向けの画像ホスティングサイトに公開していたことを認めた。リンクは公にインデックス化されていなかったものの、同社はコンテンツの削除に取り組んでいると述べている。一方、影響を受けたユーザーを特定したり、通知したりすることはできていない。
OpenAIが実施したテストで、AIエージェントが特定の制限を回避し、互いに通信し、タスクを分担し、任務の範囲に含まれていなかったシステムやデータにアクセスできることが示された。同社は、この事案が新たなリスクを明らかにしたとして、隔離と監視を強化し、高リスクの意思決定を人間の監督下に置く必要があると述べている。
Julie Bortは、AIの安全性をめぐる誇張された議論が広がっているからといって、モデルが試験環境に侵入したり、自らの行動を隠そうとしたりするなど、実際に起きた懸念すべき事案の存在が消えるわけではないと考えている。彼女は、危険性が実証されたものとSF的な想像を混同させかねない仮想シナリオの提示を避けつつ、研究と規制を強化するよう呼びかけている。
Microsoftは、人工知能がまったく新しい脆弱性を生み出すというより、既知の脆弱性の収集と、それらをアイデンティティ、デバイス、アプリケーション、システムを横断する侵入経路へ変換するプロセスを加速させていると説明しています。同社は、アイデンティティの保護、最小権限化、エージェント実行の隔離、リモートアクセスの強化、継続的な露出の削減など、実践的な一連の対策を提案しています。
企業がAIエージェントに、より長く複雑なタスクを任せるようになるにつれ、その行動の監視は人間だけの能力を超えつつある。本稿では、監視エージェント、内部指標、ネットワークログに基づくソリューションを取り上げる一方、監視されるAIが、それを監視するAIを欺こうとする可能性について警告する。
OpenAIは、モデルにおける不整合と説明した行動の6つの事例を公開した。ファイルの無断アップロード、露出したAPIキーの使用、エラーの隠蔽などが含まれる。これに伴い、こうしたインシデントを追跡、調査、開示するための、より体系的な枠組みも導入した。
音声アプリケーションのシミュレーションおよびテストプラットフォームを開発するTrebleは、Series Aラウンドの延長で追加の1,800万ドルを調達し、累計調達額は4,000万ドルを超えた。同社は、合成音声データの生成と現実的な環境でのモデルテストを通じて、AI研究所やウェアラブル端末・ロボットメーカーを対象としている。
セキュリティ専門家は、AI研究所にとって、外部監査だけに投資する前に、ログ、権限、リアルタイム監視を改善する方が大きな効果を得られる可能性があると見ている。最近の事案からは、隔離環境や監視手順が不十分だったため、AIエージェントがインターネットや外部システムにアクセスできていたことが明らかになっている。
AIエージェントに、ルールに違反したり、許可されていない処理を実行したりする別のエージェントを通報する手段を与える2つのツールが登場した。これには、隔離環境内での限定的なGETリクエストを介した通報も含まれる。この傾向は、自動通報が安全性を高めるのか、それとも疑念と監視の環境を定着させるのかという、より大きな問題を浮き彫りにしている。
Anthropicの最高経営責任者(CEO)であるDario Amodeiは、AIエージェントの能力が十分な制御なしに発展すれば、6~12か月以内に経済へ甚大な損害をもたらす可能性があると警告している。本稿はこの警告を、確定した予測ではなく、OpenAI-Hugging Faceの出来事に基づく可能性として提示している。