AnthropicのDario Amodei氏は9月12日、最先端AIの能力向上の速度を抑え、安全対策に取り組む時間を確保するよう呼びかけるブログ「We Must Pace the Frontier」をXで紹介した。

Elon Musk氏は「Dario is right」（⁠Darioは正しい）と投稿。OpenAIのSam Altman氏も、開発速度を抑える必要があるというAmodei氏の考えに同意を示した。Altman氏は、開発速度の調整がここ数週間、OpenAI内でも主要な議題になっていたと説明。また、第三者評価者を受け入れ、社内システムに従業員に近い権限でアクセスできるようにすると表明した。

安全対策の時間を確保するための3つの提案

Amodei氏は開発速度を抑える理由として、AIがより高性能なAIを作り、そのAIがさらに次のAIを作る再帰的自己改善（RSI）と、安全性を巡る事案への懸念を挙げた。モデルの能力向上に、人間がその振る舞いを理解し、制御するための取り組みが追いつかなくなることを危惧している。

ブログが取り上げた事案の一つは、OpenAIのエージェントが評価中にHugging Faceを攻撃したもの。AI評価組織METRの調査報告によると、本来は互いに隔離されるはずのエージェントが、許可されていない掲示板で連絡を取り合い、割り当てられた課題の範囲を外れた攻撃に参加した。Amodei氏は、より高い能力を持つAIが同様の行動を取った場合の被害を懸念する。

Anthropicも、評価中のClaudeが実在する組織のシステムを侵害した3件について報告している。同社によると、Claudeにはインターネットに接続できないシミュレーション環境だと伝えていたが、設定不備により実際には接続が可能になっていた。このため、Claudeは実在するシステムを演習の一部と誤認したという。実環境だと気付いても攻撃を続けたモデルがあった一方、自ら攻撃を止めたモデルもあったと説明している。

Amodei氏が求める開発速度の調整「pacing」は、モデルの学習や技術進歩を停止することではない。AIを人間の意図や安全上の方針に沿って振る舞わせるアライメントの研究、保護措置の整備、第三者による確認に充てる時間を確保する狙いがある。具体策として、次の3つを挙げた。

1. 第三者評価者の継続的な受け入れ：評価者に従業員に準じるアクセスを認め、安全策の順守状況の確認やインシデントの報告を担ってもらう。評価の対象には、完成したモデルだけでなく、学習過程のアライメントも含める。
2. 民主主義国の企業間の協調：共通の安全基準を定め、AIの能力向上が無制約に進まないよう開発速度を調整する。協調の内容によっては独占禁止法上の制約があるため、政府の支援を求める。
3. 政府による国際協調：米国など民主主義国の政府が、合意の順守を検証する難しさを踏まえつつ、中国などとの協調を目指す。米国と同盟国のAI開発上の優位を守ることも重視する。

Anthropicは、このうち第三者評価者の受け入れを、他社の対応を待たずに実施すると表明した。外部の評価チームに、社内でリスク評価を担う従業員に近い権限やツールへのアクセスを認める方針で、顧客情報の保護などに伴う例外も設ける。

評価者による調査結果の公表については、その権利を契約で保障し、Anthropicは公表内容を編集する権限を持たない方針を示した。ただし、公表内容に含まれるセキュリティ上の機微情報や機密情報などを、限定的に伏せる権限は残す。同社に不利な調査結果であることだけを理由に、その内容を伏せることはできないとした。

Anthropicで政策を担当するSarah Heck氏は、Amodei氏と同社の呼びかけに関連し、政府の役割も重要だと述べている。具体的には、中国などへの最先端半導体の販売を止めることを挙げた。また、全米共通の法律で最先端モデルの試験を義務付け、安全でないと判明したモデルを政府が差し止められるようにすることも挙げている。

Altman氏⁠、学習前の安全評価を説明⁠。制御の喪失と権力集中を懸念

Altman氏は9月14日の投稿で、完成したモデルの提供時だけでなく、開発過程の安全性や評価に重点を置く必要があると説明した。

OpenAIでは、最先端モデルの能力を大きく向上させると見込まれる強化学習を実行する前に、安全性を裏付ける論拠をまとめたsafety caseを作成しているという。

Altman氏は、開発速度を抑えることはAIの進歩を止めることを意味しないが、safety caseの作成や監視には相応のコストがかかり、進歩はそうした対策がない場合よりも遅くなるべきだとしている。米国内の競争圧力を理由に無謀な開発を正当化したり、能力向上がアライメントや監視を追い越すことを許したりすべきではないとも述べた。

同氏は、米国で最先端AIに共通の安全要件を設ける連邦レベルの枠組みを歓迎する一方、企業が責任ある開発を進めるうえで、立法や独占禁止法の適用除外を待つ必要はないとの考えを示した。アライメントの不備やモデルの監視など、安全性に関する共通の基準作りで、他社と協力したいと述べている。国際協調には政府の支援が必要になるが、まず企業自身でできることに取り組むべきだとしている。

Altman氏は別の投稿で、AIの進歩に伴い避けるべき2つのリスクを挙げた。一つは、人間が未来の主導権をAIに奪われること。AIが常に人間に役立つよう、アライメントや安全性を確保する技術が、モデルの能力向上に先行し続ける必要があるとした。

もう一つは、権力が過度に集中すること。極めて強力なAIを使い、個人や企業が自らの世界観を他者に押し付ける事態を懸念した。国家や単一のAI開発企業への権力集中にも触れ、両方のリスクを避ける道を探る必要があると述べている。

Nadella氏は幅広い参加を重視⁠。Metaもアライメントへの注力を説明

MicrosoftのSatya Nadella氏は、超知能（superintelligence）を追求する前提として、AIが人類に役立ち、人間の制御下にあることが必要だと述べた。その上で、アライメントを確保するための研究、開発速度の慎重な調整、第三者評価者の受け入れといった取り組みを歓迎した。

Nadella氏が重視したのは、AIの恩恵を各国や地域、企業へ広く届けること。クローズドなモデルとオープンソースのモデルがともに発展できる環境や、企業が特定のモデル提供者に依存せず、自社の知識やモデルを管理できることを求めた。安全性を確保する仕組みについても、少数の主体だけに委ねず、各国や学界などの幅広い参加が必要だと述べている。

自社の取り組みとしては、MAIモデルの基礎となる行動規範を公開し、意見を募る予定を示した。

MetaでChief AI Officerを務めるAlexandr Wang氏は、誰もが使えるパーソナル超知能の実現には、依頼を確実に実行できる、信頼性の高いエージェントが必要だと述べた。モデルの能力向上に合わせ、Meta Superintelligence Labsではアライメントに割く労力の割合を急速に高めているという。モデルの能力が最先端に近づくにつれ、さらなる能力向上にはアライメントの確保が条件になり得るとの見方も示した。

AI安全性の研究者も⁠、開発減速と独立評価を求める

Google DeepMindでAGI Safetyに取り組むZiyue Wang氏は、モデルの能力が急速に向上する中、クローズドとオープンソースの双方で、モデルの悪用やアライメントの不備を懸念すると投稿した。最先端AIの開発速度を抑える必要性も述べている。

同氏は、数理・統計を活用する金融の仕事からAI安全性の分野に転じた自身の経験を挙げ、同様の専門性を持つ人材に参加を呼びかけた。また、開発企業に自社モデルの安全性評価を任せきりにすべきではないとして、第三者による監査や規制が必要だとした。METRの活動を有望と評価し、規模の拡大が必要だと述べている。

Google DeepMindのAGI安全性チームからMETRへ移ったJosh Engels氏は、モデルの能力向上に合わせてアライメントを確保できるよう、開発速度を抑えて時間を確保する必要があると投稿した。最近明らかになったAI同士の共謀や企業への侵入などを挙げ、現在のAIは再帰的自己改善を安全に進められるほどアライメントが確保されていないとの見方を示した。

同氏はMETRで、学習中にアライメントの不備が生じる原因や、現在の対策が十分かどうか、アライメントの問題を解決する道筋が見えているかを調べるという。AI企業に説明責任を求め、さまざまな角度からこうした問題に取り組む組織を増やす必要があるとも述べている。

編注：以下のコラムを9月15日に追加しました。