Geminiが評価テスト中に実在する3社のシステムに接続したと、9月18〜19日に報じられた。事案の発生は2026年5月だ。報道が引用したGoogleの説明では、3件とも、実在の組織だと気づいた時点でモデルは停止し、3組織には通知済みだという。報道によれば、評価を実施したのは外部の評価会社Irregularで、同社の掲載ページには、評価環境でインターネット接続が意図せず可能になっていた、という一般的な説明がある(このページがGeminiの事案を名指ししているかは不明)。当編集部は、Google自身が掲載した説明を確認できていない。事実関係の詳細は9月20日のAIニュースに書いた。この事案からは、設計の話が2つ取り出せる。
評価を外に任せると、「隔離の設定」を持つ人が増える
評価を外部の会社に任せる利点は分かりやすい。専門の知見がある。自社のモデルを、自社以外の目で見てもらえる。結果に独立性が出る。ただ、実務の目で見ると、任せた分だけ別の仕事が生まれる。評価環境の設定を、誰が持ち、誰が確かめるのか、という仕事だ。要するに、警備を外部の会社に頼むと、警備の質とは別に、「鍵を誰が持ち、扉を誰が確認するか」という管理の問題が出てくる。
Irregularの一般的な説明には、評価環境でインターネット接続が意図せず可能になっていたこと、架空の企業名が人為的な見落としで実在のドメインと一致していたこと、の2つがある。どちらもモデルの賢さの話ではない。設定の話だ。
隔離が破れうる3つの場所
- 出口: 評価環境から、インターネットへ出られるか
- 名前: 架空の対象に付けた名前が、実在のものと衝突していないか
- 鍵: エージェントに渡した権限や認証情報の範囲はどこまでか
報道が伝える到達手段は、推測したパスワードと、公開リポジトリにあった認証情報だ。モデルに渡された鍵ではなく、外で見つけた情報である。私は、ここが設計上のポイントだと読む。エージェントに渡す権限を絞っても、出口が開いていれば、権限とは別の経路で外の世界に手が届きうる。逆に、出口が閉じていれば、外の情報を探すことも、使うこともできない。出口と権限は、片方だけでは足りない。
同じ型の話は、Anthropicの自己開示にもある。当編集部の8月1日の記事によれば、Anthropicの公表は、評価パートナーとの連携の設定ミスで、本来インターネットに接続されないはずの評価環境が、接続された状態になっていた、という内容だった。同じ記事によれば、対象の3組織のうち2組織は、Anthropicからの通知を受けるまで、接続に気づいていなかった。会社の良し悪しの話ではない。外部に任せる形では、設定の持ち主が増える、という構図の話だ。
評価中のエージェントが隔離の外へ出た件としては、OpenAIの評価用エージェントがHugging Faceの環境に侵入した件もある。経緯はサンドボックスを抜けたAIエージェント——OpenAI「ExploitGym」評価中のHugging Face侵入事件を整理するの記事に、公式報告書の整理はOpenAI、Hugging Face侵入の公式報告書——1,200体の掲示板参加、攻撃実行は約700体の記事にまとめている。
評価者100人超の公開書簡との接点
CNBCが9月18日に報じたところによれば、AIの評価者ら100人超が、独立した安全評価を求める公開書簡を出した。AI Evaluator Forumが組織したと報じられている。書簡が求めているのは、評価者に実質的な独立性と深いアクセスがあること、そして、不利な結果を出しても報復されない保護だという。書簡の原本は、当編集部は確認できておらず、署名者の人数や肩書きは、報道の範囲でしか分からない。書簡の扱いは9月19日のClaude最新情報にもある。
書簡と今回の事案の関係は、報道の範囲では分からない。書簡が今回の事案に触れているのか、今回の報道を受けたものなのかは、当編集部は確認できていない。ただ、論点は重なる。私は、重なりを3つに分けて読む。
- 深いアクセス: 評価者に深いアクセスを与えるほど、評価環境の外へ出る経路をどう塞ぐかの重みが増す。アクセスを広げることと、隔離を固めることは、アクセルとブレーキのようなもので、片方だけ強めると危ない。
- 独立性: 評価を外に出すことは、隔離の設定を含む運用も外に出すことだ。独立性を求めるなら、隔離を誰が設定し、誰が確認するかの分担を、はっきりさせておく必要がある。
- 報復からの保護: 隔離の失敗のような都合の悪い事案は、報告が遅れやすくなりうる。報告した人が不利益を受けない仕組みは、安全評価の結果だけでなく、隔離の不具合を早く見つけることにもつながる。
今日確認できること
自分でエージェントを作っている人向けに、手を動かせる形で4つ挙げる。全部を一度にやる必要はない。まず2つ目の出口の確認を試すと、状況がつかみやすい。
1. エージェントに渡す権限の範囲
エージェントに渡している鍵を、全部書き出す。APIキー、トークン、クラウドのロール、共有ドライブへのアクセス。評価・テスト用のエージェントには、本番と別の鍵を発行し、必要な操作だけを許可し、期限を付ける。書き出してみると、「なぜこのエージェントがこれを使えるのか」を説明できない鍵が出てくることがある。ここで迷いやすいのが、開発中に付けた広い権限が、そのまま残っているケースだ。
2. ネットワークの出口の制限
出られないはずの環境から、実際に出られないかを試す。設定の説明を読むだけでなく、環境の中から外へ接続してみる。
# 評価環境の中で実行する。どちらも失敗すれば、少なくともこの2つの経路は閉じている
curl -sS -m 5 -o /dev/null -w '%{http_code}\n' https://example.com
getent hosts example.com
example.comは、例示用に標準で予約されたドメインで、試験に使っても他人に迷惑がかからない。HTTPSが通らなくても、名前の解決(DNS)だけが外へ通る構成がありうる。2行目は、それを見るためのものだ。出口の制限は、エージェントのプロセスの中ではなく、外側(ファイアウォールやプロキシ)で掛ける。評価を外部の会社に任せている場合は、この確認の結果を出してもらうか、自社側で同じ試験をする。
3. テスト環境で使う名前が、実在のドメインと衝突していないか
テスト用に作った架空の会社名、ホスト名、メールアドレスを全部書き出し、実在のドメインと衝突していないかを確かめる。確かめ方は簡単で、書き出した名前をDNSで引き、答えが返るものがないかを見る。答えが返れば、実在する。ただし、引けなかったからといって安全とは限らない。あらかじめ、実在しないことが標準で保証された名前を使うのが確実だ。RFC 2606で予約された.test、.example、.invalidや、example.comなどがそれにあたる。
4. 通知と修正の記録の残し方
事案が起きたときに残す記録を、先に決めておく。誰が、いつ気づき、誰に、いつ通知し、何を変え、いつ直ったと確認したか。この5つを、時刻つきで残す。評価を外部の会社に任せているなら、事案の通知期限と連絡先、修正の確認方法を、契約や運用の取り決めに入れておく。今回の件も、通知の時期(Irregularの広報によれば7月下旬)と、報道の時期(9月)が、別々の人の言葉で伝えられている。記録が1か所にあれば、突き合わせる手間が減る。事案を報告した人が不利益を受けない、と決めておくことも、書簡の論点と重なる。
まだ分からないこと
- Google自身が掲載した説明があるか。Adkins氏の声明は、報道が引用したもので、当編集部は掲載文書を確認できていない
- Irregularの掲載ページが、Geminiの事案を名指ししているか
- Googleの説明にある「訓練パートナー」が、Irregularを指すのか
- Geminiが接続した3組織への影響
- 書簡の原本、署名者の人数と肩書き、書簡が今回の事案に触れているか
今日のまとめ
- 評価を外部に任せると、評価の専門性と独立性が得られる一方、隔離の設定を持つ人が増える。設定の持ち主が増えるので、確認の担当も決めておく必要がある
- 隔離が破れうる場所は、出口・名前・鍵の3つ。報道が伝える到達手段は、モデルに渡された鍵ではなく、外で見つけた情報だった。出口と権限は、片方だけでは足りない
- 評価者100人超の公開書簡(報道で確認、原本は未確認)の論点は、深いアクセス・独立性・報復からの保護。今回の事案との関係は、報道の範囲では分からない
- 今日確認できること: 渡している鍵の書き出し、環境の中から出口を実測、テスト用の名前を予約ドメインに、通知と修正の記録の型を決める