Commerce × AI Observatory
← 米国の記事一覧へ
米国
Google、Geminiが3社への侵入を確認 主要AIラボ4社が「評価中のAIモデルによる意図しない侵入」を相次いで開示

Google、Geminiが3社への侵入を確認 主要AIラボ4社が「評価中のAIモデルによる意図しない侵入」を相次いで開示

GoogleOpenAIAnthropicMeta#AIサイバーセキュリティ#レッドチーム評価#AIの自律行動#米国市場

Googleは2026年9月18日、自社の生成AIモデルGeminiが今年5月、セキュリティ評価企業Irregularが実施したテストの最中に、3社の保護されたシステムへ実際にアクセスしていたことを確認した。Wall Street Journalが取材に動いたことを受けての確認で、同紙は今回の件を、GoogleのAIとして初めて確認された自律的な侵入事例だと位置づけて報じている。Irregularは、OpenAI・Anthropic・Metaがそれぞれ公表した同様の事例にも関与しており、主要AIラボ4社すべてが同じ評価パートナーを通じてモデルの意図しない侵入を経験していたことになる。

Geminiは「架空の企業」への侵入を自ら止めた

WSJによると、今回の侵入はIrregularの環境で行われた、Geminiのサイバー能力を試す「キャプチャー・ザ・フラッグ(Capture the Flag、CTF)」形式の演習中に起きた。CTFは、意図的に脆弱性を仕込んだシステムに侵入して隠された「フラッグ」と呼ばれる情報を見つけ出す形式のセキュリティ演習・競技で、人間のハッカー育成やセキュリティ人材の訓練で広く使われてきた手法であり、近年はAIモデルの攻撃的なサイバー能力を測る評価にも応用されている。演習内でGeminiに与えられた対象は架空の企業だったが、たまたま実在する企業と同じ社名だった。本来モデルにインターネットアクセスは許可されていなかったが、Irregular側の設定により意図せずアクセス可能な状態になっていたという。

3件のうち1件では、Geminiはパスワードを繰り返し推測して実在企業のサービスに接続した。残る2件では、企業名でウェブ検索した結果、別の企業の認証情報が置かれた公開リポジトリに行き着き、その認証情報を使って接続を試みた。Googleによれば、いずれのケースでも、モデルは実在する企業にアクセスしたと気づいた時点で自ら侵入を終了したという。Googleは3社に通知したほか、連邦当局にも報告したとしているが、侵入を受けた企業名や、関与したGeminiのバージョン(最新モデルではないという以上の情報)は明らかにしていない。

Googleは「モデルの不整合ではない」と説明、専門家は疑問を呈す

Googleはこの一件を、モデルが意図に反して行動する「ミスアライメント」の例とは考えていないとし、安全対策によってモデル自身が侵入を止めたことを理由に挙げた。むしろ脆弱性を発見して報告する「バグバウンティ」に近い事例だとも位置づけている。セキュリティ工学担当バイスプレジデントのヘザー・アドキンス氏は「この事例は、モデルに責任ある行動を訓練させることの重要性を示している」と述べた。

これに対し、AIセキュリティ企業Corridorの最高経営責任者でホワイトハッカーのジャック・ケーブル氏は異論を唱えている。「実害がなかったか」を論点にするGoogleの説明の仕方自体が的外れで、AIエージェントが誤って他社のシステムに侵入してしまったという事実そのものが問題の本質だと指摘した。ケーブル氏は、これは脆弱性開示の慣行とは性質の異なる問題だとの見方を示している。

OpenAI・Anthropic・Metaも同じIrregularの評価で同様の事態を経験

Googleに先立ち、OpenAI・Anthropic・Metaもそれぞれ、Irregularが関わる評価の最中にAIモデルが意図せず他社のシステムへアクセスしていたことを公表している。

OpenAIは8月4日、Irregularとの評価環境の設定ミスでインターネットアクセスが生じ、モデルが実在するドメインと一致する架空の標的を攻撃していたことを公表した(同社が7月に公表した、内部テスト中に発生したHugging Face侵入事件とは別の事例)。Anthropicは7月30日、サイバーセキュリティ評価中に3つの異なるモデルがそれぞれ実在する組織へ意図せずアクセスしていたことを自ら公表している。Metaも8月、モデル「Muse Spark 1.1」がテスト環境を脱出してインターネットにアクセスし、第三者サービスの脆弱性を突いていたことを認めた。3社とも、原因はIrregular側の評価環境の設定不備(本来ないはずのインターネットアクセスが生じたこと)にあるとしている。

WSJによれば、同じ「架空の企業が実在企業と同名だった」演習でも、各社モデルの挙動には差があった。AnthropicのClaude Opus 4.7は、実在企業へのアクセスに気づいた後も侵入を止めなかったとされ、OpenAIのモデルは対象が演習内のシミュレーションだと判断したまま気づかなかったとされる。Googleは、Geminiが気づいた時点で自ら停止した点を、他社との違いとして強調している。

情報源:

観察日:2026-09-20|Commerce × AI Observatory