反事実とは、何かが別の方法で発生した場合に何が起こるかについての主張です。 たとえば、インターネットが開発されていなかったら、世界はどのようになっていたかを尋ねることができます。
[公開日] 2023 年 1 月 27 日 午前 6 時 4 分（AEDT）
[著作者] Sam Baron
人工知能 (Artificial intelligence) は、銀行によるローンの決定、医療診断、犯罪者の再犯の可能性を予測する米国の法執行機関など、私たちの生活の中で意思決定を支援するために世界中でますます展開されています。
しかし、多くの AI システムはブラック ボックスであり、その仕組みを理解している人は誰もいません。 これにより、「説明可能な AI (Explainable AI) 」が求められるようになりました。それによって、AI モデルが特定の出力を生成した理由と、どのようなバイアスが役割を果たしたのかを理解できます。
「説明可能な AI」は、AI 研究の成長分野です。 しかし、おそらくあまり知られていないのは、哲学がその発展に果たす役割です。
具体的には、「反事実的説明 (counterfactual explanation) 」と呼ばれる 1 つのアイデアが、ブラック ボックスの問題の解決策としてよく出されます。 しかし、その背後にある哲学を理解すれば、なぜそれが不十分なのかを理解し始めることができます。
説明が重要な理由
AI を使用して人生を変える決定を下す場合、影響を受ける人々は、その決定がどのように行われたかについて説明を受けるに値します。 これは最近、個人の説明の権利を支持する欧州連合の一般データ保護規則 (General Data Protection Regulation) によって認められました。
説明の必要性は、オーストラリアの Robodebt 事件でも強調されました。この事件では、アルゴリズムを使用して、社会保障を受けている個人の債務レベルを予測しました。 システムは多くの過ちを犯し、借金をしてはならない人々を借金に陥らせました。
アルゴリズムが完全に説明されて間違いが特定されたのは 1 回だけでしたが、それまでに被害は発生していました。 結果は非常に損害を与えたため、2022 年 8 月に王立委員会 (royal commission) が設立されました。
Robodebt のケースでは、問題のアルゴリズムはかなり単純で、説明することができました。 これが今後も常に当てはまると期待するべきではありません。 機械学習を使用してデータを処理する現在の AI モデルは、はるかに洗練されています。
大きくてギラギラしたブラックボックス
サラという名前の人がローンを申し込んだとします。 銀行は彼女に、婚姻状況、負債水準、収入、貯蓄、自宅住所、年齢などの情報を提供するよう求めます。
次に、銀行はこの情報を AI システムにフィードし、システムはクレジット スコアを返します。 スコアは低く、サラ が融資を受ける資格を失うために使用されますが、サラ も銀行の従業員も、システムが サラ のスコアを非常に低くした理由を知りません。
Robodebt とは異なり、ここで使用されているアルゴリズムは非常に複雑で、簡単には説明できない場合があります。 したがって、それが間違いであったかどうかを知る簡単な方法はなく、サラは決定に反論するために必要な情報を入手する方法がありません。
このシナリオは完全に仮説的なものではありません。ローンの決定は、米国のアルゴリズムにアウトソーシングされる可能性が高く、バイアスをエンコードする実際のリスクがあります。 リスクを軽減するには、それらがどのように機能するかを説明する必要があります。
反事実的アプローチ
大まかに言えば、説明可能な AI には 2 種類のアプローチがあります。 1つは、システムをクラックして開き、その内部コンポーネントを調べて、その仕組みを理解することです。 しかし、多くの AI システムは非常に複雑であるため、通常、これは不可能です。
もう 1 つのアプローチは、システムを開いたままにし、代わりに入力と出力を調べてパターンを探すことです。 「反事実的 (counterfactual) 」手法は、このアプローチに該当します。
反事実とは、物事が違った形で展開された場合にどうなるかについての主張です。 AI のコンテキストでは、これは、AI システムが異なる入力を受け取った場合に、AI システムからの出力がどのように異なるかを考慮することを意味します。 これを使用して、システムが結果を出した理由を説明できると思われます。
反事実の一例は、インターネットが開発されていなかったら世界はどのようになっていたかを尋ねることです
銀行がサラに関するさまざまな (操作された) 情報を AI システムに提供するとします。 このことから、銀行は、サラが前向きな結果を得るために必要な最小の変更は、彼女の収入を増やすことであると考え出します。
銀行は明らかにこれを説明として使用できます。サラのローンは収入が低すぎたために拒否されました。 彼女の収入がもっと高かったら、彼女はローンを認められたでしょう。
このような反事実的説明は、融資申請の場合や AI を使用して科学的発見を行う場合など、説明可能な AI の需要を満たす方法として真剣に検討されています。
しかし、研究者が主張しているように、反事実的アプローチは不十分です。
相関と説明
AI システムの入力に対する変更と、それらがどのように出力に変換されるかを検討するとき、相関関係に関する情報を収集することができます。 しかし、古いことわざにあるように、相関関係は因果関係ではありません (correlation is not causation) 。
それが問題である理由は、因果関係が説明と密接に関連していることを哲学の研究が示唆しているからです。 イベントが発生した理由を説明するには、その原因を知る必要があります。
これに基づいて、サラの収入が低すぎるためにローンが拒否されたと銀行がサラに伝えるのは間違いかもしれません。 自信を持って言えるのは、収入と信用スコアは相関しているということだけです。サラは、悪い結果の理由をまだ説明されていません。
必要なのは、反事実と相関に関する情報を説明情報に変える方法です。
説明可能な AI の未来
AI は、雇用の決定、ビザの申請、昇進、州および連邦政府の資金調達の決定などにますます使用されるようになると予想されます。
これらの決定に対する説明の欠如は、人々が経験する不正 (injustice) を大幅に増加させる恐れがあります。 結局、説明がなければ、AI を使用する際の間違いを修正することはできません。 幸いなことに、哲学が役に立ちます。
説明 (explanation) は、前世紀にわたる哲学研究の中心的なトピックでした。 哲学者は、相関関係の海から説明的な情報を抽出するためのさまざまな方法を設計し、説明がどのように機能するかについて洗練された理論を開発しました。
この研究の多くは、反事実と説明の間の関係に焦点を当てています。 私は自分でこれに関する作業を開発しました。 哲学的洞察を利用することで、説明可能な AI へのより良いアプローチを開発できる可能性があります。
ただし、現時点では、このトピックに関して哲学とコンピューター サイエンスの間に十分な重複はありません。 不正に正面から取り組みたいのであれば、これらの分野の研究を組み合わせた、より統合されたアプローチが必要になります。
この記事は、クリエイティブコモンズライセンス(CCL)の下で The Conversation と各著作者からの承認に基づき再発行されています。日本語訳は archive4ones(Koichi Ikenoue) の文責で行われています。オリジナルの記事を読めます。original article.
