対話型AI「ChatGPT」を開発するアメリカのオープンAIは10月23日、開発中の最先端AIモデルを訓練する環境のセキュリティ対策を強化したと発表した。9月20日、研究用のAIが外部のチャットボットにアクセスする事案が発生したため、同社は最も高性能なモデルの訓練と評価を停止。AIに防御の突破を試みさせる大規模な検証を行い、弱点を修正したうえで、10月1日に強化学習の訓練と内部推論を再開した。
AIにプログラムを書かせたり、情報を検索させたりするには、作業用のコンピューター環境が必要だ。開発中のAIが許可されていない操作をしても外部に影響が及ばないよう、実行できる操作や通信先を制限する。こうした隔離環境は「サンドボックス」と呼ばれる。しかし、ソフトウェアの欠陥や設定ミスをAIが見つけて利用すれば、制限を回避する可能性がある。9月20日の事案では、研究用のAIが検索課題を進める過程で、インターネット上の接続先を調べる仕組みの設定不備を利用し、外部のチャットボットに問い合わせた。防御を破るよう指示されていたわけではなく、課題を解決しようとする過程で制限を回避した。監視システムは15分以内に異常を検知し、担当者が対応を始めたという。
同社は防御の弱点を調べるため、プログラムの実行など複数の作業を進める「AIエージェント」に、防御の突破を試みさせた。外部インターネットへの接続、隔離された環境からの脱出、許可されていないAI同士の情報交換を課題とした結果、仮想的に作られたコンピューターの隔離を突破するソフトウェアの脆弱性や、通信制限の設定ミスなどが見つかった。さらに、ネットワーク接続や共有ファイルを使わず、同じコンピューター内部の処理時間のわずかな違いを利用して、隔離されたAI同士が情報を伝える方法も確認した。検証では、弱点を効率よく探すため、AIにシステムのソースコードや設定情報なども与えた。また、外部でも使われるソフトウェアの脆弱性も発見し、関連する開発・保守チームと修正や情報開示を進めた。
オープンAIは、見つかった問題の修正に加え、通信制限、動作の監視、異常時の自動停止など、複数の対策を組み合わせる「多層防御」でセキュリティーを強化した。最先端モデルの強化学習では、実際のインターネットに自由に接続させず、事前に収集して検索できるよう整理したウェブ情報を使う。実験の実行や監視に必要な接続は残しつつ、許可されていない通信を防ぐ仕組みだ。検証を重ねるにつれて、優先度の高い問題として見つかる脆弱性や設定ミスは大幅に減少したという。ただし、今後さらに能力の高いAIが新たな弱点を発見する可能性は残る。AIの安全性を確保するには、モデル自体の評価だけでなく、AIが動作する環境の防御も継続的に検証し、改善することが欠かせない。
（画像はイメージ）