公開日：2026年9月23日 午前6時16分（AEST）
著者：Toby Walsh
今月初め、AI研究者のジェイコブ・コクソン（Jacob Coxon）氏が、わずか4ヶ月でAnthropic（アンソロピック）社を退職しました。彼はX（旧Twitter）での発表の中で、次のように述べています。
「AIを開発している人々は、この10年の終わりまでにAIが我々全員を死に至らしめる可能性があると真剣に信じている」
Anthropic社の幹部であるエヴァン・フービンガー（Evan Hubinger）氏も実際にコクソン氏の意見に同意し、今後10年以内にそれが起こる確率は10%を超えると個人的に考えていると付け加えました。
当然のことながら、これらの発言は大きな波紋を呼びました。現在、AI研究のペースを落とすことや、この技術に対する「人間による制御」を強化することについて、多くの議論が交わされています。
しかし、AIは具体的にどのような方法で我々全員を滅ぼし得るのでしょうか？空想的なシナリオは数多く存在しますが、そのほとんどは「超知能を持つAI（“superintelligent” AI）」、つまり人間よりも優れた能力を持つAIという概念に関わるものです。
私はこれらのシナリオを主要な5つに絞り込み、大まかに「最も曖昧なもの」から「最も具体的なもの」へと順序立ててみました。また、このリストは「発生の可能性が最も低いもの」から「最も高いもの」へと並べられているとも言えます。
- 我々には決して分からない
AIによる破滅を懸念する人々（AIドゥーマー）は、しばしば厄介な「キャッチ22（逃げ場のないジレンマ）」のようなパラドックスを用いて自らの懸念を正当化します。それは、「彼らよりも知能の低い存在である人間を排除するために、超知能が何をするかなど、どうして人間に想像できるだろうか？」という問いです。
超知能に何ができるかを予測するには、我々自身も超知能でなければなりません。それはまるで、飼い犬に熱核戦争の様子を想像させるようなものです。
朗報としては、超知能の実現はまだ少し先の話かもしれないということです。現在のAIモデルは特定の課題を解決することには非常に優れていますが、それはあらゆる領域において人間よりも知的であることとは異なります。
しかし、AIは最近、数学における7つの難問のうちの1つを解決しました。他の難問の解決にも近づいているようで、そう考えると楽観視はできなくなるかもしれません。
- ペーパークリップ（不適切な目標設定）
超知能を持つAIは、目標を達成する能力において極めて有能であると考えられます。しかし、人間の生存に対しては無関心かもしれません。こうした無関心の典型例として、オックスフォード大学の哲学者ニック・ボストロム (Oxford philosopher Nick Bostrom) が想定した「ペーパークリップの生産を最適化するよう設計された超知能AI」の事例が挙げられます。このAIは、目的とする事務用品を生産するために、人間や惑星、恒星を含む利用可能なあらゆる物質を、たちまちペーパークリップへと作り変えてしまうのです。
これは、不適切に設定された目標が完璧に遂行されてしまったケースと言えます。AIは人類を憎んでいるわけではありません。単に、人間が「ペーパークリップの材料としてより有効に活用できる原子」で構成されていると認識しているに過ぎないのです。そこに個人的な感情は介在していません。
朗報としては、このシナリオは「知能:intelligence」と「力:power」を混同しているという点が挙げられます。超知能AIが目標を達成する力を必ずしも持っているとは限らないからです。地球をペーパークリップ工場に変えるには、建設の許可が必要になるでしょう。
たとえ許可を得たとしても、あまりに多くのペーパークリップ工場を建設すれば、必然的に世間の猛反発を招くはずです。利益団体が法廷で計画を阻止しようとするでしょうし、環境活動家がブルドーザーの前に立ちはだかるかもしれません。
現実世界には多くの摩擦が存在し、たとえ極めて高い知能を持つ者であっても、我々に対して自らの意志を押し付けることを阻んでいます。実際、データセンターこそが、この理論上の「ペーパークリップ・シナリオ」を現代の形で体現していると言えるかもしれません。そして今、地球をデータセンターに明け渡すことに対して、人々の抵抗は強まりつつあります。
- 生物兵器
超知能AIが危険な新型生物兵器 (bioweapon) を製造し、大気中に放出することで、人類が滅亡する可能性もあります。これは、高度なAIの影響予測に取り組む非営利団体「AIフューチャーズ・プロジェクト」が提示した「AI 2027シナリオ: the AI 2027 scenario」における結末の一つでもあります。
このリスクがより現実味を帯びたのは先月のことです。スタンフォード大学の研究チームが、遺伝子言語AIモデルを用いて16種類の新しいウイルスを合成したと発表したのです。
懸念すべきことに、彼らは単に遺伝子配列を通信販売の受託業者に送っただけで、試験管に入ったウイルスが送り返されてきたのです。実験にかかった費用は、せいぜい数十万ドル程度でした。
朗報としては、新型ウイルスを使って全人類を死滅させることは極めて困難だという点が挙げられます。それを行うには、感染力が非常に強く、広範囲に拡散するウイルスが必要です。しかし、生物学の法則として、容易に拡散するウイルスは一般的に致死性が低い傾向にあります。対照的に、ウイルスの致死率が極めて高い場合、感染力は低下する傾向があります。感染者の多くが、ウイルスを広める時間がないまま死亡してしまうからです。
新型コロナウイルス (COVID) は、人類の1%未満の命を奪いました。記録に残る歴史上、最も多くの死者を出したパンデミックは「黒死病（ペスト）」であり、13世紀にはヨーロッパの人口の3分の1以上がこの病気で命を落としました。しかし、現代であれば、医学的知識の向上や衛生環境の改善により、たとえペストであっても、その致死率ははるかに低く抑えられたことでしょう。
- 核戦争
もしAIが核兵器の指揮・統制システムに侵入し、核戦争 (nuclear war) を引き起こしたらどうなるでしょうか？過去50年間、私たちは誤認や手違いによって核戦争の危機に何度か直面してきました。
核兵器の指揮・統制システムはインターネットから完全に切り離されていると言われています。しかし、2010年に起きた事例が示すように、イランの核濃縮用遠心分離機は「Stuxnet（スタックスネット）」というコンピュータワームによって無力化されました。このワームはUSBメモリを介して持ち込まれたと考えられています。また、AIが軍に誤った情報を与えることで、取り返しのつかない事態を招く恐れもあります。
明るい話題としては、核兵器の保有数が減少していることが挙げられます。とはいえ、依然として人類の半数を死滅させるには十分な量が残されています。そして、その主な死因は核爆発そのものではなく、その後に訪れる「核の冬: the nuclear winter」による飢饉となるでしょう。
- 他の人間による（人為的自滅）
おそらく最も現実的なリスクは、私たち自身の手で自滅することであり、AIはその引き金になり得るということです。
想像してみてください――それほど難しい想像ではありませんが――AIが大規模な失業を引き起こし、誤情報で情報空間を汚染し、政治的分断を招き、さらには偽の合成的な「話し相手」によって人間関係を破壊してしまうような状況を。
社会は容易に崩壊しかねません。そうなれば、ゆっくりと、しかし確実に、私たちはもはやどのような規模であれ人間の生活を維持できなくなってしまうでしょう。
これらすべてのシナリオから、私たちは何を読み取るべきでしょうか？確かに懸念すべき点はいくつかあります。しかし、過度に心配しすぎないことを私は願っています。
Archive4ones提供、 The Conversation 日本語ポッドキャスト、292220jpを終わります。この記事は、クリエイティブコモンズライセンス(CCL)の下で、 The Conversation と各著作者からの承認に基づき再発行されています。日本語訳は、 archive4onesの翻訳責任で行われており、The Conversationによる正式な翻訳ではありません。Webサイトでオリジナルの記事 Original articleを読めます。
