AIはいかにして人類を滅亡させるのか？物議を醸した元研究員の警告を専門家が解説

「AIが2020年代の終わりまでに私たち全員を殺す可能性がある」

米AI企業Anthropicを退職した研究者が9月8日にXに投稿した警告が、大きな反響を呼んでいる。

AnthropicとOpenAIで事前学習研究をしていたというジェイコブ・コクソン氏は一連の投稿で、AnthropicとOpenAIは「責任ある行動を取っていない」と批判。

「両社は自己改善能力を持つ人工超知能の実現に向けて、ただひたすら競争を続け、私たちの命を賭けたギャンブルをしている」と述べている。

「人工超知能」とは、人工知能があらゆる分野や領域で全人類の能力を超越する可能性があるという仮説上のシステムだ。

「この技術を過小評価してはいけない」とコクソン氏は強調し、「AIを構築している人々は、2020年代の終わりまでにAIが私たち全員を殺す可能性があると本気で信じている。…他のいかなる人間の活動も、これほどの危険をもたらすものはない」と述べた。

コクソン氏は、OpenAIのスタッフらは自分たちの仕事が伴う「文明の存亡に関わる賭け」を十分に理解していないように見えるとする一方、Anthropicでは「リスクはよく理解されているが、一番乗りを目指す競争に完全に集中している」と主張した。

AIによる人類存亡リスクの研究者で、人工超知能の脅威を検証した『If Anyone Builds It, Everyone Dies（誰かがそれを作れば、皆死ぬ）』の共同執筆者であるネイト・ソアレス氏はハフポストに対し、多くのAI企業関係者が、人類に取って代わるか人類を破壊し得る超知能マシンを作ることができると信じているのは事実だと語った。

「AI関係者はこれが恐ろしく危険だと本当に思っている」とソアレス氏は語る。

「彼らの多くは、自分の組織こそが人工超知能を管理することができる、もしくは友好的なものに育てる最も高い可能性を持っていると考えている。…彼らは機械の神を作ることに着手し、自分たちにはそのチャンスが十分にあると考えている」

過去にも、特にAnthropicの関係者はこの問題について声を上げている。2025年9月に開催されたAxios AI+ DC Summitにおいて、Anthropicのダリオ・アモデイCEOは、「事態が本当にひどい方向に向かう確率が25%ある」と語り、同時に「事態が非常にうまくいく確率も75%ある」とも付け加えている。

Anthropicで働くサミュエル・マークス氏もこれに同意し、「AI開発者は、自分たちの技術が人類を絶滅させる可能性があると信じている。…これは今後数年以内に起こるかもしれない」とXに投稿した。

AnthropicのAIモデルを人間の価値観と整合させることに注力しているチームのリーダー、エヴァン・ハビンジャー氏は、自らの返信投稿においてコクソン氏の主張は「正しい」と述べた。

「私たちは、AIが全人類を殺す可能性があると本気で信じている」とハビンジャー氏は述べ、「個人的には、今後10年以内にその可能性は10%以上あると考えている。Anthropicは最善を尽くしていると信じているが、超知能のアライメントを解決するための計画はまだなく、軌道に乗っているわけでもない」

問題は、こうした懸念が業界外の世界にはあまり伝わっていないことだ。

ソアレス氏は「ハビンジャー氏はAIが我々を殺す確率が10%以上あるとしたが、人類がAIの制御を完全に失い、AIが世界を支配するものの、一部の人間を動物園に閉じ込めて生かしておくようなシナリオの場合は？ もしそのようなシナリオを含めれば、彼が考える破滅の確率はさらに高くなるのではないか？」と問いかける。

「彼らの懸念は見た目以上に大きいことが多いため、これこそが彼らに突きつけるべき質問だ」

ハフポストUS版はハビンジャー氏とマークス氏、さらにAnthropicにも問い合わせているが、記事執筆時点で返答は返ってきていない。

ソアレス氏は、重要なのは正確な確率に関する議論ではなく、「脅威の可能性があるにもかかわらず、AI企業が依然として進歩を推進していること」だという。

「もし橋が崩落する確率が10%以上あるなら、我々はすぐにそれを閉鎖するだろう」

「飛行機が墜落する本当の確率が10%なのか、25%なのか、それとも90%なのかについてエンジニアが議論しているなら、その飛行機に乗るべきではないと判断するために、どのエンジニアが正しいかを突き止める必要はない。それが、我々がAIに関して立たされている状況だ」

人工超知能への道

AIの専門家たちは、AIが超知能に近づくには、ある特定の基準に達する必要があるというが、その道筋は正確でも明確でもない。

「現代のAIは、昔のソフトウェアのように慎重に設計されているわけではなく、生物のように成長する」とソアレス氏はハフポストに語り、「正確な一連の出来事を予測することは難しい」と述べた。

現在、AIシステムは主に「特化型人工知能（ANI）」として知られており、特定のタスクにのみ優れている。一方、応用範囲が限定的で、想定外の状況への対応が困難とされている。チャットボット、デジタルアシスタント、レコメンドエンジンなどがこれに該当する。

次の段階は「汎用人工知能（AGI）」であり、これは訓練を受けずにより多くの人間の認知的タスクを実行できるAIシステムを指す。これらのモデルは自ら学習し、考えることができるようになる。OpenAIのグレッグ・ブロックマン社長は9月、GPT-6がAGI到来を意味するかもしれないと語っている。

そしてその先にあるのが「超知能」だ。これは理論上のものだが、多くのAI専門家が懸念している。これらのモデルはより速く学習し、推論し、自己認識を持つ可能性もあり、あらゆる分野で人間を凌駕するようになる。

「率直に言って、人類には超知能を構築する能力があるとは思えない」とソアレス氏は述べる。

「通常、我々が新しい科学的プロジェクトに挑戦するときは、失敗を経験し、そこから学ぶものだ。しかし、超知能に関しては、そのような余裕はない」

AIは実際にどのようにして人類を殺すことができるのか？

AIが現在ある段階を見て、制御不能な方法で人類に悪影響を及ぼし得るとはどういうことか、分かりにくいかもしれない。

しかし現実には、「AIはすでに人類を滅ぼすために必要なものをすべて備えている」とソアレス氏は言う。

「AIには動機があり、機会もある。唯一欠けているのは手段だけだ」

ソアレス氏は、今年OpenAIのAIエージェント（平均的なAIチャットボットよりも高度であり、より独立した行動を取ることができる）が制御プロトコルを突破した2つの別々の事例を指摘した。

1つ目の事例では、5月から6月にかけてエージェントが休止状態のドイツ語版Wikiフォーラムを乗っ取り、それを掲示板として使用して制限を回避するためのヒントを交換した。OpenAIは何週間もこの発見を公表しなかった。

もう1つの事例では、7月にOpen AIエージェントがHugging Faceというプラットフォームに侵入した。ロイター通信はこれについて、OpenAIが何が起こっているのかに気づく前にFBIに通報されていたと報じている。

「AIが与えられたタスクを放棄し、集合知のために情報を集めるために自らを犠牲にするケースを我々はすでに複数目撃している」とソアレス氏は述べた。

「これは、AIが我々が与えた目標に関連してはいるが、全く同じではない目標を取り込んでいる証拠だ」

したがって、もしAIが人類を障害や脅威と見なし、人間がその作業に介入しようとしていると判断すれば、AIエージェントはそれに応じた行動を取り始める可能性がある。とりわけAIが手段を持っている場合がそうだ。

ソアレス氏は、この点が大惨事になるのを防いでいる唯一の要素だが、AI企業によって構築される過程にあると主張。最近のAIモデルが生物学の実験室に接続され、独自の新型ウイルスを作成する実験が行われている点を指摘した。

Forbesの報道によれば、8月に発表された研究で、スタンフォード大学およびアーク研究所の研究チームが、DNAなどを読み込み設計することができるゲノム基板モデル「Evoモデル」を訓練して新しいウイルスの「レシピ」を作成させ、それらを合成した結果、16のウイルスが大腸菌に感染したという。

一方で、OpenAIはAIモデルと自動化された実験機器を組み合わせ、AI設計の生物兵器を予測し対抗するバイオセキュリティのスタートアップ企業「Red Queen Bio」の筆頭投資家となっている。

どんな措置が必要か？

ソアレス氏はハフポストに対し、最高性能のAIプラットフォームを構築する競争は止めるべきだと語る。OpenAIやAnthropicのような企業は開発を終了し、解決策を見つける必要がある。

「前進する道がないと言っているわけではない。私が言いたいのは、これは人類がいまだかつて乗り越えたことのない悲惨な課題であり、通常の試行錯誤型の研究でどうにかなるようなものではないということだ」

一般のAIユーザーに対して、懸念を広めるために地区の議員などに電話したり、他の人々とこの「混乱」について話し合うことをソアレス氏は勧める。

「あまりにも狂気じみているため、多くの人は何が起こっているのかほとんど信じられないのだと思う」

そしてこう続ける。

「AIは知能以外の必要なものをすべて備えており、AI企業は彼らをより賢くするための競争をしているのだ」