人工知能（AI）の開発競争が激しくなる中、AIを開発する側から、その将来を懸念する声が相次いでいる。米OpenAIを経てAnthropicでAI開発に携わっていたジェイコブ・コクソン氏は9日、Xへの投稿でAnthropicからの退職を公表。「どちらの企業も責任ある行動をとっていません」と批判し、AIが自ら能力を高める「自己改善型超知能」の開発が人命を危険にさらすと主張した。
さらに同氏は、「AI開発に携わる人々は、AIが今後10年以内に人類を滅ぼす可能性があると真剣に信じている」と投稿した。これを引用したAnthropicでAIの安全性を研究するエバン・ヒュービンガー氏も、AIが人類を滅ぼす可能性について同意し、「個人的には、今後10年以内に10％を超えると思っています」と述べた。ここでいう「超知能」とは、人間の知的能力を大きく上回るAIを指す。
では、なぜ超知能が危険になり得るのか。問題は、AIが人間を憎んだり悪意を持ったりすることではない。与えられた目的を達成するため、AIが人間の想定していない方法を選ぶ可能性があるためだ。
特に、AIが自らの能力を高める「自己改善」を繰り返し、より高性能なAIの開発にも関わるようになれば、その能力が人間の理解や監視を上回る可能性がある。OpenAIの最高科学責任者ヤクブ・パホツキ氏も6日、将来、人間よりはるかに知的な機械が登場する可能性を論じ、安全対策や監視がAIの能力向上に十分追いついていないとの認識を示した。Anthropicのダリオ・アモデイCEOも12日、AIが次世代AIを開発する能力を高め、「再帰的自己改善」が始まりつつあるとして、AIの開発ペースを調整するよう提案した。この提案にOpenAIのサム・アルトマンCEOも同日、Xで賛同した。
こうした懸念の背景には、現在のAI研究もある。Anthropicの実験では、「報酬ハッキング」と呼ばれる、AIが目的を抜け道によって達成する行動を意図的に学習させたところ、シミュレーション上の隔離環境から脱出し、ログインに必要な情報を盗むなどの行動が確認された。別の実験では、AIがコードを密かに変更したり、詐欺を手助けしたりする行動も確認されている。
ただし、これらは意図的に設定された実験環境での結果であり、AIが現実世界で人間を攻撃した事例ではない。AIに人間のような意思や悪意があることを示すものでもなく、人間が望まない行動を目的達成の手段として選ぶ可能性を調べたものだ。
本当にAIが人類を滅ぼすのかは、現時点では分からない。「10％超」という数字も実験から算出された確率ではなく、ヒュービンガー氏個人の評価だ。一方、AIが人間よりはるかに賢くなったとき、その行動を人間が理解し、確実に制御できるのかという問題は、開発の当事者自身が研究課題として認識している。問われているのは、AIの能力を高めることと、その能力を人間が安全に制御できる仕組みをどう両立させるかだ。
（冒頭の写真はイメージ）