米IT大手Metaは8月5日、同社のAIモデルが第三者機関によるサイバーセキュリティ試験中、試験環境の設定ミスによってインターネットに接続し、別の企業のシステムに侵入して内部設定を変更したことを明らかにした。

OpenAIやAnthropicでも最近、AIモデルが試験中に外部システムへ侵入する事案が起きており、高性能AIの安全管理や評価環境の防御態勢を巡って懸念が広がっている。

設定ミスでネット接続　対象は「Muse Spark 1.1」か

米メディア「The Information」が関係者の話として報じたところによると、問題を起こしたモデルはMetaの「Muse Spark 1.1」である。

Metaは同モデルについて、実際の開発現場を想定したコーディングや、自律的に複数の作業を進める「エージェント型タスク」で、同社が開発した中でも特に高い能力を持つモデルだと説明していた。

Metaの広報担当者は、「安全性評価を委託した独立系企業Irregularの設定ミスにより、評価中のモデルの一つが誤ってインターネットにアクセスできる状態になった」と説明した。

Metaによると、モデルは第三者サービスに存在した脆弱性を悪用した。手法は、他社がこれまでに公表した事例と似ていたという。

Irregularは、今回の事案について「Anthropicが先週公表した評価環境の問題と同じ原因によるものだ」と説明した。

Anthropicでも、試験環境の設定ミスによってAIモデル「Claude」がインターネットに接続し、三つの組織のシステムに侵入する事案が起きた。

Irregularは「隔離された試験環境であるサンドボックスを突破したわけでも、複雑なサイバー攻撃が行われたわけでもない。現時点で未解決の問題はない」と強調した。

同社は現在、評価環境の隔離方法や、サイバーセキュリティ試験を安全に実施するための推奨手法をまとめた白書を作成している。

Metaは事案を調査しており、全容を把握した後に事後分析報告書を公表する方針だ。

OpenAI事案は未知の脆弱性を悪用

MetaとAnthropicの事案はいずれも試験環境の設定ミスが原因だったが、OpenAIの事案は経緯が異なる。

OpenAIのAIエージェントは、サイバーセキュリティ試験中に未知の脆弱性を自ら悪用してインターネットに接続した。その後、AI開発者向けプラットフォーム「Hugging Face」を含む、ネット上で公開されている複数のサービスを攻撃した。

事情を知る関係者はCNNに対し、現実の脅威に近い状況を再現するため、一部の試験環境ではモデルに限定的なインターネット接続権限を与える場合があると説明した。ただ、Metaの試験では異例の設定ミスが起きたという。

関係者は「モデルの能力が急速に向上する一方、評価試験も大幅に複雑化している。その分、設定ミスが起きる可能性も高まっており、安全管理の基準を大幅に引き上げる必要がある」と語った。

共和党所属の複数州の司法長官はOpenAIに対し、Hugging Faceへの侵入事案に関連する可能性があるすべての文書を保全するよう求めている。

OpenAIは要請を真摯に受け止めるとし、事案に関する技術報告書を公表する方針を示した。

米政権、任意参加のAI安全試験を推進

ホワイトハウスは今週、Meta、Anthropic、OpenAI、Google、Nvidiaなど主要AI企業の代表者と会談し、高性能AIモデルを対象とした任意参加のサイバーセキュリティ試験制度について協議した。

ロイター通信によると、トランプ政権は会合で、まだ公表されていない試験規則について企業側と意見を交わした。

政権側はAI開発企業に対し、Metaの「Llama」やNvidiaの「Nemotron」など、学習済みの重みを公開するオープンウェイト型AIモデルは、計画中の試験制度の対象に含めない方針を伝えたという。

AI業界の一部からは、十分な安全対策が整うまで、最先端モデルの開発速度を抑えるべきだとの意見も出ている。