GoogleとGoogle DeepMindの研究者らは9月16日、汎用人工知能（AGI）の安全な開発や社会への影響について研究・議論する「DeepMind Institute（DMI）」の立ち上げを発表した。社内外の研究者や思想家が分野を横断して研究や考えを発表し、AGIをどう開発・統治し、社会に役立てるかを議論する。
DeepMind InstituteのディレクターにはShane Legg氏、James Manyika氏、Demis Hassabis氏の3人が名を連ね、Legg氏が編集責任者も務める。DeepMind Instituteは、掲載する記事が各著者の考えや研究を示すものであり、Googleの公式見解ではないと明記している。
AGIの開発と、社会が備えるべき制度をともに検討
発起人らは設立趣旨で、現在のAIの能力と技術革新の速さを踏まえ、AGIに近づいているとの認識を示した。AGIを、人間の脳が持つあらゆる認知能力を備えたシステムと説明している。現在のAIについては、基本的な課題で失敗することもあり、AGIと呼ぶには一貫性や創造性が十分ではないとしつつ、こうした不足は近く解消されると見込んでいる。
AGIが病気の解明・治療やクリーンエネルギーの開発など、科学の進歩を加速する可能性に期待を寄せる一方、AIの能力向上に伴うサイバーセキュリティー上の問題や生物学的なリスクにも言及した。将来、自らを改善するシステムを人間が制御できなくなる可能性も課題として挙げている。
DeepMind Instituteでは、AGIや複数のAIエージェントが形成する集団をどう安全に開発・統治するかを議論する。人間は何を大切にするのか、AGIが人間らしさにどう影響するのか、社会制度や政策をどう見直すべきかといった問いも扱う。発起人らは、こうした問いへの答えを技術者だけに委ねるべきではないとし、芸術・人文科学や政府を含む社会全体で将来を形作る必要があると述べている。
経済政策や推論の透明性など、4本の記事を公開
公式サイトでは、こうした議論の出発点として、設立趣旨に加えて4本の記事を掲載している。
AIによる経済の変化に応じた政策選択
Julian Jacobs氏とAlex Imas氏による「Economic policy for AGI」は、AIの高度化や普及に伴う経済の混乱に備え、失業保険やベーシックインカムなど11の政策を評価した。比較の観点は、生活水準や経済の安定への効果、人々の選択や意思決定への影響、実現可能性と効率性、AIによる変化の規模が異なる状況での有効性の4つ。
両氏は、万能な政策はなく、AIが雇用や賃金に与える影響をデータで把握し、その規模や状況に応じて政策を選ぶ必要があるとしている。影響が比較的小さい場合には、失業保険の拡充などを挙げた。AIによって人間の労働への需要が大きく減る場合に備え、資産や持ち分を広く行き渡らせる「ユニバーサル・ベーシック・キャピタル」をあらかじめ設計し、経済指標に応じて導入する案も示している。
AIの推論を監視できる設計
Rohin Shah氏とAnca Dragan氏による「The case for reasoning transparency」は、AIが応答する前の推論を言語化する「Chain of Thought（CoT）」に注目する。両氏は、CoTの記録が、AIによる情報の隠蔽や評価での不正の兆候を見つける手掛かりになるとして、推論の透明性を意図的に保つよう提案している。
効率を優先するモデル設計などによって、推論が人間には読めなくなるおそれがあるという。具体策として、透明性の測定、人間が推論の手順を読めるモデル構造の維持、学習時の報酬が透明性を損なっていないかを調べる監査を挙げた。ただし、CoTの監視だけでAIの安全を保証できるわけではないとも述べている。
AGIで実現したい社会像
Stephen Cave氏の「Principles for a new utopianism」は、AIのリスクを避けるだけでなく、どのような社会を実現したいのかを考える必要があると述べている。20世紀に理想社会を目指した運動の失敗を踏まえ、遠い未来を決めつけない中期的な視点、自らの理想が誤っている可能性を認める謙虚さ、多様な生き方を尊重する姿勢を挙げた。医療や教育、公共交通などの公共サービスの無償提供と質の向上を、AGIを活かす構想の一例として示している。
最先端AIの評価と審査の枠組み
Hassabis氏の「A framework for frontier AI and the dawning of a new age」は、米国で最先端AIの評価基準を定める組織を設ける案を示している。同氏は、自律性を増し、「再帰的自己改善（RSI）」によって自らの能力を繰り返し高めるシステムを人間の制御下に保つため、強固な安全策が必要になると述べている。
連邦政府の監督を受ける官民連携組織や自主規制機関をモデルとする組織が、関係する連邦機関などと連携して、サイバーセキュリティーや生物学的脅威などに関わる試験を実施する構想となっている。
評価対象は、開発国やオープン・クローズドの別を問わず、ベンチマークで一定の能力水準に達したモデルに限定し、その基準は技術の進歩に合わせて更新する。当初は公開前の任意審査とし、評価手法の有効性や信頼性を確認した後、米国市場への投入に審査合格を義務付けることも想定している。
