コクスン氏の発言は、著名AI研究者が競争が激化する一方のAI大手に警告の言葉を発信したとして、瞬く間に世界中に報道された。
AnthropicのCEOが最初に反応
コクソン氏の投稿から数日経った9月12日、Anthropicのダリオ・アモデイCEOは自身のブログに「最先端AIの開発速度を調整する必要がある」と題した記事を投稿、AI開発を止めるのではなく、AIの能力向上が安全対策の進歩を追い越さないように、開発速度を意図的に調整すべきだと訴えた。
この記事でアモデイ氏は、生成AIの進歩は、今後医療分野や経済面などで大きなメリットをもたらす可能性があるとそのメリットを述べつつ、一方で急激な進歩によってAIの制御が困難になり、人による制御を逸脱してしまった場合には、サイバー攻撃やバイオテロへの悪用、大規模な経済的混乱をもたらすリスクもあることを認めている。
また、これまでは基本的に人間がAIを開発してきたが、今後は高度に進歩したAI自体が、次世代AIの研究開発を行うようになり、さらに世代が進めば、AIが自らさらに強力なAIを作り出すという、再帰的自己改善（RSI:Recursive Self-Improvement）も実現する可能性があるとの考えを示した。
しかしそうなると、もはやAIが自らをどんどん強化していくことになり、研究者らによるAI動作の理解やそれによる安全面の評価や問題があった場合のアライメント（調整）や規制が追いつかなくなる可能性も出てくる。そこで、アモデイ氏はAI業界に対して以下の3つの段階でAI開発を抑えることを提案した。
1.第三者による継続的評価
2.業界全体の規制枠組みを用意する
3.米中協調を含むグローバルな規制
アモデイ氏が提案する第1段階は、Model Evaluation and Threat Research（METR）のような第三者のAI評価機関などを「組み込み型（embedded）」の評価者として導入するというものだ。
METRは最先端のAIモデルを評価し、そのリスクと能力について一般の人々に情報を提供する機関だ。同機関は、AIシステムがどの程度自律的に重要なタスクを実行できるかを評価することを主な研究内容としている。そして、そのなかにはAIエージェントによるサイバー攻撃の実行や、AIが自身をシャットダウンしようとする操作から逃れようとする行動なども含まれる。
こうした第三者機関は、AI企業がモデルの安全性を適切に評価しているか、公表している安全対策を実際に守っているか、何らかの危険を引き起こす能力が発生していないか、なんらかのインシデントが発生した際に速やかに報告されたかなどを評価し、情報提供する。
アモデイ氏は、METRのような第三者機関が継続的にAI企業の評価を行えるようにすることが、まずは同業他社や政府機関の合意を待たずに実行できる対策になりうるとした。
第2段階は、AI企業間で共通のルールを作る、つまり業界全体として取り組むべき規制の枠組みを用意することだ。
AIモデルの急激な開発にブレーキをかけようとしてAnthropicが開発速度を落としたところで、OpenAIやGoogleなど他のAI企業が開発の手綱を緩めなければ、その意味はほとんどない。ただAnthropicが他に対して後れをとることになるだけだからだ。
既に激化しつつあるAI開発競争を抑制するため、アモデイ氏は最先端AI企業が共同で安全基準や開発速度に関する共通ルールを作ることを第2段階として提案している。
※ログイン後、コメント入力が可能です。