[公開日] 2025年6月24日午前6時8分（オーストラリア東部標準時）
[著者] Luke Munn
AIは世界を征服するのでしょうか？科学者たちは自ら考えることができる人工生命体を創造したのでしょうか？医師、教師、介護士といったクリエイティブな仕事さえも、AIに取って代わられるのでしょうか？コンピューターがあらゆる面で人間を上回る時代が到来しようとしているのでしょうか？
『The AI Con: AI 詐欺』の著者たちが強調するように、その答えは「ノー」「彼らはそう願っている」「笑える: “LOL”」「絶対にそんなことはない」です。
人工知能（AI）は、明確な計算アーキテクチャと技術の集合体であると同時に、マーケティング用語でもあります。”AI” は、起業家 (entrepreneurs) にとって怪しげな計画にスタートアップ資金を引き寄せるための魔法の言葉となり、未来を見据えたリーダーの地位を瞬時に手に入れるために経営者が唱える呪文となっています。
たった2文字の言葉から、自動化された工場とロボット支配者、余暇のユートピア、あるいは奴隷制のディストピアといった、見る人のイメージが浮かび上がります。AIは単なる技術ではなく、社会がどのように機能すべきか、そして私たちの未来がどうあるべきかを示す力強いビジョンなのです。
この意味では、AIは機能するために働く必要はありません。大規模な言語モデル (LLM) の精度は疑わしいかもしれませんし、AIオフィスアシスタントの生産性は実証されるのではなく主張されるだけかもしれません。しかし、こうした技術、企業、そして主張の塊は、ジャーナリズム、教育、医療、サービス業、そしてより広範な社会文化的景観の様相を一変させる可能性があります。
バブルがはじける
エミリー・M・ベンダー (Emily M. Bender) とアレックス・ハンナ (Alex Hanna) にとって、AIの誇大宣伝バブルははじける必要があるのです。
ベンダーはワシントン大学 (the University of Washington) の言語学教授で、著名なテクノロジー評論家となっています。ハンナは社会学者で、元Google社員。現在は分散AI研究所 (the Distributed AI Research Institute) の研究ディレクターを務めています。人気ポッドキャスト「ミステリーAIハイプシアター3000: Mystery AI Hype Theater 3000」でAI推進派を風刺した二人は、その洞察を一般読者向けに書籍にまとめました。彼らは、止めることのできないAI誇大宣伝の勢いに対し、揺るぎない懐疑心で立ち向かっています。
このプログラムの第一歩は、AIモデルの仕組みを理解することです。ベンダー氏とハンナ氏は、専門用語を分かりやすく解説し、機械学習の「ブラックボックス: “black box”」を一般の人にも分かりやすく解説しています。
誇大広告と現実 (hype and reality) 、主張と実際の運用 (assertions and operations) の間に溝を作ることは、『The AI Con』全編を通して繰り返されるテーマであり、読者のテクノロジー業界への信頼を徐々に揺るがすものとなっています。本書は、大企業が摩擦を軽減し、資本を蓄積するために用いる戦略的な欺瞞を概説しています。たとえ、事例の羅列が曖昧になりがちであっても、技術的なナンセンス感は拭えません。
知能とは何か？ベンダー氏が共著した、広く引用されている著名な論文では、大規模言語モデルは単なる「確率的オウム: “stochastic parrots”」であり、学習データを用いて、ユーザーが提示したプロンプトに最もよく反応するトークン（つまり単語）の集合を予測する、と主張している。数百万ものウェブサイトをクロールすることで、このモデルは「牛が飛び越えた」の後に「月」を、より洗練されたバリエーションで繰り返して繰り返すことができる。
大規模言語モデルは、概念をその社会的、文化的、政治的文脈のすべてにおいて実際に理解するのではなく、パターンマッチングを行う。これは思考の錯覚である。
しかし、多くの分野において、思考のシミュレーションで十分だと私は考えている。なぜなら、そのシミュレーションは、それを利用する人々によって半分満たされるからだ。ユーザーは、よく知られているイライザ効果 (Eliza effect) によってモデルに主体性を投影し、シミュレーションに知能を与える。
経営陣はこのシミュレーションに期待を寄せている。彼らは自動化を組織を合理化し、「取り残されない」ための手段と捉えている。アーリーアダプター* 対 絶滅恐竜というこの力強いビジョンは、新しいテクノロジーの出現において繰り返し見られるものであり、テクノロジー業界にとって有益なものでもあります。(編集者注*）
この意味で、人工知能の「知性: intelligence」に穴を開けることは、このテクノロジーの成功を願う社会的・経済的投資を逃す、損失となる行為です。「あらゆるタスクにAIを取り入れましょう。どんなに小さなことでも、まずはAIツールを使ってみてください」と、Duolingoの最高エンジニアリング責任者は 全従業員への最近のメッセージ で指示しました。Duolingoは、Fiverr、Shopify、IBMなど、数多くの企業に続き、「AIファースト」のアプローチを宣言しています。
形を変えるテクノロジー
『The AI Con』は、テクノロジーの背後、あるいはその周囲にある、それらを取り巻くエコシステムに目を向けたときに最も強力になります。この視点は、私がこれまで非常に有益だと 主張してきたもの です。モデルの作成に関与する企業、関係者、ビジネスモデル、そしてステークホルダーを理解することで、そのモデルがどこから来たのか、その目的、長所と短所、そしてこれらすべてがその潜在的な用途や影響に対して、下流で何を意味するのかを評価することができます。ベンダー氏とハンナ氏は、「このテクノロジーから誰が利益を得て、誰が損害を受け、そして彼らにはどのような救済策があるのか」という問いが、確かな出発点となることを示唆しています。
これらの基本的でありながら重要な問いは、AIはどのように機能するのか、AIは実際にはどれほど正確で「優れている」のか、エンジニアではない私たちがどのようにしてこの複雑さを理解できるのかといった技術的な議論の雑草から私たちを解放し、批判的な視点を与えてくれます。彼らは、ユーザーが適応したり不要になったりするのではなく、業界に説明責任を負わせている。
AI技術が公正な労働を阻害し、人種や性別のステレオタイプを永続させ、環境危機を悪化させる可能性があることを理解するために、バックプロパゲーション (backpropagation) や拡散 (diffusion) といった技術的な概念を説明できる必要はない。AIをめぐる誇大宣伝は、こうした具体的な影響から私たちの目をそらし、矮小化し、無視するように仕向けるものだ。
ベンダーとハンナが説明するように、AI推進派 (AI boosters)とAI悲観派 (AI doomers) は実際にはコインの表裏一体だ。自己複製するAIが人類を滅ぼすという悪夢のようなシナリオを思い描くことも、知覚を持つ機械が人類後の楽園へと私たちを導くと主張することも、結局のところ同じことだ。彼らはテクノロジーの能力に宗教的な信仰を置き、それが議論を支配し、テクノロジー企業がAIの将来の開発をコントロールし続けることを可能にしている。
picture: Emily M. Bender. University of Washington
AIのリスクは、冷戦期の核の脅威のような将来の潜在的な破滅ではなく、現在、生身の人間に静かに、そしてより重大な危害をもたらすことである。著者らは、AIはむしろ「一人の刑務所長が数百人の囚人を同時に監視できる」パノプティコン (panopticon) 、あるいは「西側諸国の周縁化された集団を追跡する監視網」、あるいは「スーパーファンドの敷地に塩を撒く有毒廃棄物」、あるいは「雇用主の命令でピケラインを越え、おまえたちはクビだと伝えるスト破りの労働者」のようなものだと説明している。AIとして販売されているシステム全体は、これらを一つにまとめたものである。
10年前、ある「ゲームチェンジャー」とも言えるテクノロジーについて、作家のイアン・ボゴスト (Ian Bogost) は次のように指摘した。
ユートピアやディストピアではなく、私たちは往々にして、それほど劇的ではないものの、より失望させられる結果に終わる。ロボットは人間の主人に仕えるわけでも、劇的な大量虐殺で人間を滅ぼすわけでもなく、私たちの命を救いつつも、ゆっくりと私たちの生活を破壊していくのだ。
このパターンは繰り返される。AIが（ある程度）成熟し、組織に導入されるにつれて、それはイノベーションからインフラへ、魔法からメカニズムへと移行していく。壮大な約束は決して実現しない。その代わりに、社会はより厳しく、より暗い未来を耐え忍ぶことになる。労働者はより大きなプレッシャーを感じ、監視は常態化し、真実はポスト真実によって曖昧になり、周縁化された人々はより脆弱になり、地球はより温暖化する。
この意味で、テクノロジーは形を変える存在である。外見は常に変化しても、内なる論理は変わらない。テクノロジーは労働と自然を搾取し、価値を搾取し、富を集中させ、既に権力を持つ者たちの権力と地位を守るのだ。
批判の取り込み
社会学者リュック・ボルタンスキー (Luc Boltanski) とイヴ・キアペロ (Eve Chiapello) は著書『資本主義の新精神: The New Spirit of Capitalism』の中で、資本主義が時とともに変容し、批判をそのDNAに再び組み込んできた様子を描いている。
1960年代、疎外と自動化をめぐる一連の打撃を乗り越えた資本主義は、その後20年間で階層的なフォーディズム的生産様式 (hierarchical Fordist mode) から、より柔軟な自己管理型へと移行した。資本主義は、より小規模なチームで行われる「ジャストインタイム」生産を好むようになり、それは（表面上は）各個人の創造性と創意工夫を尊重するものとなった。新自由主義は「自由」を提供したが、それには代償があった。組織は適応し、譲歩が図られ、批判は鎮静化された。
AIはこうした形での共謀の形態を続けている。実際、現在はAI批判の第一波の終焉と言えるだろう。過去5年間、テクノロジー業界の巨人たちは、より大規模で「優れた」モデルを次々とリリースしてきました。一般の人々も研究者も、ChatGPT、StableDiffusion、Midjourney、Gemini、DeepSeekといった生成モデルや「基礎」モデルに大きく注目しています。
picture: Verso Books
研究者たちはこれらのモデルの側面を厳しく批判してきました。私自身の研究でも、真実の主張: truth claims、生成的ヘイト: generative hate、倫理ウォッシング: ethics washing といった問題を探求してきました。多くの研究はバイアス、つまりトレーニングデータがジェンダーステレオタイプ、人種的不平等、宗教的偏見、西洋の認識論などを再現する方法に焦点を当てています。
これらの研究の多くは優れたものであり、ワークショップやイベントでの会話から判断すると、一般の人々の意識にも浸透しているようです。しかし、こうした問題を指摘することで、テクノロジー企業は問題解決の実践に取り組むことができます。顔認識システムの 精度が黒人の顔に対して低い 場合は、トレーニングセットに黒人の顔を追加しましょう。モデルが英語優位だと非難されるなら、「リソースの少ない」言語のデータを生成するためにいくらかの資金を投入しましょう。
Anthropicのような企業は現在、モデルに潜むバイアスを明らかにすることを目的とした「レッドチーム演習」を定期的に実施しています。企業はその後、これらの問題を「修正」または軽減します。しかし、データセットの規模が膨大であるため、これらは表面的な解決策、つまり構造的な調整というよりは表面的な解決策になりがちです。
例えば、AI画像生成ツールはローンチ直後、十分に「多様性」に欠けているという批判にさらされました。これに対し、OpenAIは「世界の人口の多様性をより正確に反映する」技術を発明 しました。研究者たちは、この技術がユーザーのプロンプトに「アジア人」「黒人」などの隠れたプロンプトを追加しているだけであることを発見しました。GoogleのGeminiモデルもこれを採用したようで、バイキングやナチスの画像に南アジア人やネイティブアメリカンの特徴が見られると 反発 が起こりました。
ここで重要なのは、AIモデルが人種差別的か、歴史的に不正確か、あるいは「目覚めた: “woke”」かではなく、モデルが政治的であり、決して無関心ではないということだ。文化がどのように計算によって作られるのか、あるいは 社会として私たちがどのような真実を望むのか といった、より難しい問いは決して取り上げられることはなく、したがって体系的に検討されることもない。
こうした問いは、確かにバイアスよりも広範で「尖っていない」が、プログラマーが解決すべき問題へと落とし込むのは容易ではない。
次は何だろうか？
では、学界以外の人々はAIにどう対応すべきだろうか？ここ数年、ワークショップ、セミナー、専門能力開発の取り組みが盛んに行われてきた。職場におけるAI機能の「驚嘆: “gee whiz”」ツアーから、リスクと倫理に関する真剣な議論、そして今、来月、再来月とどのように対応すべきかを議論する、急遽企画された全社会議まで、多岐にわたる。
写真：Alex Hanna。Will Toft/alex-hanna.com, CC BY
ベンダー氏とハンナ氏は、本書を締めくくるに当たり、自らの回答を提示しています。モデルの仕組みや誰が恩恵を受けるのかといった疑問をはじめ、多くの回答はシンプルながらも根本的なものであり、組織的なエンゲージメントの強力な出発点となります。
技術懐疑派の二人にとって、拒否も明らかに選択肢の一つです。しかし、モデルからオプトアウトしたり、導入戦略に抵抗したりする際には、個人の主体性は大きく異なるのは明らかです。AIの拒否は、それ以前の多くの技術と同様に、ある程度は特権に左右される ことが多いのです。年収6桁のコンサルタントやプログラマーは、ギグワーカーやサービスワーカーには罰則なしに行使できない裁量権を持つことになります。
拒否が個人レベルでは問題を抱えているとしても、文化レベルではより現実的で持続可能なものとなるように思われます。ベンダー氏とハンナ氏は、生成AIに対しては嘲笑的に反応すべきだと提言しています。生成AIを採用する企業は、安っぽくて下品だと嘲笑されるべきだと。
AIに対する文化的な反発は既に本格化している。YouTubeのサウンドトラックには「AI不使用: “No AI”」というラベルが貼られることが増えている。アーティストたちは キャンペーンやハッシュタグ を立ち上げ、自分たちの作品は「100%人間が作ったもの」であることを強調している。
こうした動きは、AIが生成したコンテンツは派生的 (derivative)で搾取的 (exploitative)であるという文化的コンセンサスを確立しようとする試みである。しかし、仮にこれらの動きに希望が見えるとしても、それはエンシット化（劣化: enshittification）の急流に逆らって泳いでいるに過ぎない。AIの粗悪品 (AI slop) は、より迅速かつ安価なコンテンツ制作を可能にし、オンラインプラットフォームの技術的・経済的論理――バイラル性 (virality)、エンゲージメント (engagement)、収益化 (monetisation)――は常に底辺への競争を生み出すだろう。
大手テクノロジー企業が提示するビジョンがどの程度受け入れられるか、AI技術がどの程度統合あるいは義務化されるか、個人やコミュニティがどの程度抵抗するか――これらは依然として未解決の問題である。ベンダー氏とハンナ氏は、多くの点でAIが詐欺であることを巧みに示している。AIは生産性と知能の面で失敗している一方で、誇大宣伝は労働者に害を及ぼし、不平等を悪化させ、環境を破壊する一連の変革をロンダリングしている。
しかし、こうした影響は、化石燃料、自家用車、工場の自動化といった従来の技術にも伴っており、それらの普及と社会の変革にはほとんど影響を与えていません。ベンダー氏とハンナ氏の著書は「大手テクノロジー企業の誇大宣伝に抗い、望む未来を創造する方法」を示しており、称賛に値しますが、AIの問題は、私にとってカール・マルクスの「人々は自らの歴史を作るが、自分の好きなように作れるわけではない」という指摘と共鳴します。
この記事は、クリエイティブコモンズライセンス(CCL)の下で The Conversation と各著作者からの承認に基づき再発行されています。日本語訳は archive4ones(Koichi Ikenoue) の翻訳責任で行われており、The Conversationによる正式な翻訳ではありません。オリジナルの記事を読めます。original article.
（編集者注*）
アーリーアダプター early adopters：特定の会社、製品、技術を早期に導入する初期の顧客のことである。ウィキペディア
エンシット化（劣化: enshittification）
2022年、ドクターロウは「エンシット化（enshittification）」という造語を考案し、マッコーリー辞書の年間最優秀語に選出されました。辞書ではこの語を次のように定義しています。
「特にオンラインプラットフォーム上で提供されるサービスの質の低下、そして営利追求の結果としてもたらされる、サービスまたは製品の段階的な劣化。」
ソーシャル メディアのユーザーは、その言葉を知らなくても、荒らしや過激派、デマを流す人、犯罪的に空虚な人がプラットフォームを乗っ取ったという概念を本能的に理解するでしょう。
かつては便利で楽しいマイクロブログサイトだったTwitterが、ある技術者のせいでポスト真実の沼地Xに変わってしまったことを考えてみてください。
あるいは Facebook では、親しい友人からの謙虚な自慢話よりも、Shein のかぎ針編みの無能なチャップスが紹介される可能性の方が高い。
あるいは、かつては可愛い犬の動画が主流だったInstagram。今や、またしても不可解なアルゴリズムが、トラディショナルな妻、ジム通いの仲間、そしてUWUガールといった投稿を次々と投稿している。
辞書の委員会は、エンシット化を「接辞で包まれた非常に基本的なアングロサクソン語であり、それによってほぼ正式な、ほぼ尊敬されるものにまで高められている」と説明した。The Guardian
