AIの安全性をめぐる議論が一段と高まっている。AI企業Anthropicの研究者が、AIが今後10年以内に人類を滅ぼす確率について、個人的には10％を超えると考えていると明らかにした。OpenAIとAnthropicで研究に携わった元研究者も、両社の開発姿勢を厳しく批判している。

退職した元研究者がAI業界の開発競争を問題視するなか、「超知能」がもたらす存亡リスクや、AIを人間の価値観に沿わせる「アラインメント（AI Alignment）」の課題に注目が集まっている。

Anthropicのアラインメント科学責任者、エヴァン・ハビンガー氏は8日、AIが今後10年以内に「人類全体を滅ぼす」確率について、個人的には10％を超えると考えていると述べた。

これに先立ち、同社の元研究員ジェイコブ・コクソン氏は、会社の姿勢は無責任だと批判し、退職を表明した。

コクソン氏は6日、Xに投稿した長文の退職声明で、「AIを開発している人々は、それが今後10年以内に私たち全員を滅ぼす可能性があると本気で考えている」と指摘した。

さらに、「私は今日、Anthropicを退職した。過去3年間、OpenAIとAnthropicで事前学習の研究に携わってきた。両社とも無責任な行動を取っている。自ら能力を高める超知能へ一直線に向かい、私たちの命を賭けている」と述べた。

ハビンガー氏は、現在のAIモデルの安全リスクは比較的低いとしながらも、「自己改善」によって生まれる超知能に対し、業界はいまだ有効なアラインメント手法を確立しておらず、解決に向けて正しい方向に進んでいるとも言えないとの認識を示した。

超知能のアラインメント、またはスーパーアラインメントとは、人工超知能（ASI）の目標や意図、行動を人間の価値観や倫理、生存に沿わせ、人類に有害な行動を取らないようにすることを指す。

コクソン氏はまた、Anthropicの科学者は技術上のリスクを明確に認識しているものの、他社が先にAIの危険な能力を引き出すことへの懸念から、「他社に先を越される前に、自分たちも開発を急がざるを得ない」という状況に陥っていると指摘した。

Fox Businessは、一連の主張についてコクソン氏、ハビンガー氏、Anthropic、OpenAIにコメントを求めている。

議論の焦点となっているのが、AIの「自己改善」技術と、それを加速させる可能性のある商業的な動機だ。

AIが自らのソースコードや学習方法を継続的に改良できるようになれば、ハッキング能力を持ち、現実世界で資源や影響力を確保できる、人間を上回る能力を持つシステムが急速に生まれる可能性がある。

コクソン氏は、世界的なAI開発競争が破滅的な結果を招くのを防ぐため、各国は相応の負担を伴う措置を取る必要があるかもしれないと主張した。その一例として、AIモデルの基礎能力を高める開発を一時的に禁止することを挙げた。

一方、国連のAI顧問でコンピューター科学者のウェンディ・ホール氏は、こうした警告に衝撃を示しつつ、一部の発言には「広報やマーケティング戦略」の側面がある可能性も指摘した。AnthropicとOpenAIが、注目を集める新規株式公開に向けて準備を進めているためだ。

ハビンガー氏は、「現在のAIモデル」と「将来の超知能」を明確に区別している。現在のAIのリスクは管理可能だとする一方、AIが自己改善能力を獲得した後、その能力が制御不能な速度で高まることが核心的な脅威だと強調した。