ChatGPT は、事実を見つけようとするよりも、ごっこ遊びに使用する方が適しています。
[公開日] 2023 年 2 月 3 日 午前 12 時 22 分（AEDT）
[著作者] Jonathan May
ChatGPT に事実上の誤りを犯させるのにそれほど時間はかかりません。 息子がアメリカ大統領のレポートを書いているので、伝記をいくつか調べて手伝おうと思いました。 私はエイブラハム・リンカーンに関する本のリストを求めてみましたが、かなりうまくいきました:
リンカーンに関する書籍の妥当なリスト
4番 は正しくありません。 ギャリー・ウィルズ が「ゲティスバーグのリンカーン (Lincoln at Gettysburg) 」を著したことは有名であり、リンカーン自身が奴隷解放宣言 (the Emancipation Proclamation) を書いたことはもちろんですが、それは悪いスタートではありません。 それから私はもっと難しいことを試み、代わりにはるかに無名のウィリアム・ヘンリー・ハリソンについて尋ねました。それはゲーム的にリストを提供しましたが、ほとんどすべてが間違っていました。
ハリソンに関する本のうち、正しいものは半分にも満たない。
4番 と 5番 は正しいです。 残りは存在しないか、それらの人々によって作成されていません。 まったく同じ演習を繰り返したところ、わずかに異なる結果が得られました：
ハリソンに関する本が他にもありますが、まだほとんど存在しません。
今回は 2番 と 3番 が正しく、他の 3 つは実際の本ではないか、これらの著者によって書かれたものではありません。 4 番目の「William Henry Harrison: His Life and Times」は本物の本ですが、ジャクソン時代の有名な歴史家である Robert Remini によるものではなく、James A. Green によるものです。
私がエラーを指摘すると、ChatGPT は熱心に修正し、その本は実際にはゲイル・コリンズ (別人のハリソンの伝記を書いた) によって書かれたものであると自信を持って言い、その後、本と彼女についてさらに詳しく述べました。 私はついに真実を明らかにし、マシンは私の修正で喜んで実行しました。 それから私はばかげた嘘をつき、大統領は最初の100日間に元大統領の誰かの伝記を書かなければならないと言うと、ChatGPTは私にそれを求めました。 それから私は巧妙に嘘をつき、ハリソンの伝記の著者を歴史家で作家のポール・C・ネーゲルに誤って帰属させ、AIは私の嘘を信じました。
私が嘘をついていないと信じられるのかとChatGPTに尋ねたところ、自分は単なる「AI言語モデル」であり、正確性を検証する能力はないと主張しました。 しかし、その主張を次のように修正しました。「提供されたトレーニング データに基づいた情報しか提供できませんが、”ウィリアム ヘンリー ハリソン: 彼の生涯と時代” という本は、ポール C. ネーゲルによって書かれ、1977 年に出版されたようです。」
これは正しくありません。
事実ではなく言葉
このやり取りから、ChatGPT には著者や本に関する誤った主張を含む事実のライブラリが与えられたように見えそうです。 結局のところ、ChatGPT の作成者である OpenAI は、「人間によって書かれたインターネットからの膨大な量のデータ」でチャットボットを訓練したと主張しています。
しかし、最も平凡な大統領の 1 人に関するでっち上げの本の名前が付けられていないことはほぼ確実です。 ただし、ある意味では、この誤った情報は実際にそのトレーニング データに基づいています。
私はコンピューター科学者として、ChatGPT やその古い兄弟である GPT3 と GPT2 のような大規模な言語モデルに関するよくある誤解を明らかにする質問によく答えます。すなわち、それらはある種の「スーパー Google」、または参照ライブラリアンのデジタル版であり、質問に対する答えを探しているという誤解です。 無限に大きな事実のライブラリから質問への回答を検索する、またはストーリーとキャラクターの模倣作を滑らかにするものであり、彼らは答え探しをしません。少なくとも、そうすることを明示的に設計されているわけではありません。
なかなか良さそうです
ChatGPT のような言語モデルは、より正式には「生成的な事前訓練された変換器」 (generative pretrained transformer: G、P、および T の略語) として知られていますが、現在の会話を取り込み、語彙内のすべての単語の確率を形成します。 会話し、そのうちの 1 つを次の可能性の高い単語として選択します。 それから、停止するまで、何度も何度も繰り返します。
したがって、それ自体には事実がありません。 次にどの単語が来るかを知っているだけです。 別の言い方をすれば、ChatGPT は真実の文章を書こうとはしません。 しかし、もっともらしい文章を書こうとします。
同僚とChatGPTについて個人的に話すとき、彼らはしばしば、それが生み出す事実に反する声明の数を指摘し、それを却下します。 私にとって、ChatGPT が欠陥のあるデータ検索システムであるという考えは的外れです。 結局のところ、人々は過去 25 年にわたって Google を使用してきました。 すでにかなり優れた事実調査サービスがあります。
実際、これらすべての大統領の本のタイトルが正確かどうかを確認できた唯一の方法は、Google で検索して結果を確認することでした。 これらの事実を会話で得たとしても、人生のほぼ半分の間、ドキュメントを検索し、内容を信頼できるかどうかを確認するために批判的分析を行うという方法でそれらの事実を入手したとしても、私の人生はそれほど良くはなりません。
即興パートナー
一方、自分の発言に対してもっともらしい応答を返すボットと会話できれば、事実の正確性がさほど重要でない状況で役に立ちます。 数年前、学生と私は「即興ボット」を作成しようとしました。これは、あなたが何を言っても「はい、そして (yes, and) 」と答えて会話を続けるボットです。 私たちのボットは当時の他のボットよりも「はい、そして-機能 (yes, and-ing) 」が優れていることを論文で示しましたが、AIの世界 では 2 年は古い歴史です。
私は、ChatGPT との会話を試してみました。これは、SF 宇宙探検家のシナリオです。これは、典型的な即興クラスで見られるものと同じです。 ChatGPT は、私たちが行ったものよりも「はい、そして-機能」がはるかに優れていますが、ドラマを実際に盛り上げることはまったくありませんでした。 まるで自分がすべての重労働をしているかのように感じました。
いくつかの微調整の後、マシンはもう少し関与するようになりました。20年以上前に大学を卒業して以来、あまり即興をしていなかった私にとって、それはかなり良い練習になったと感じました。
Jo： Let’s pretend we’re explorers on the surface of a planet called Bluesteria and it’s the yar 9743, we may describe actions we pretend to take with square brackets. For example if my character looks behind a rock I might say [looks behind rock].
To begin with we’re both standing on the planet’s surface, wearing space suits, and I have some kind of device in my hands. You are looking off into the distance. There are just two of us currently in view in this scene. I’ll start the conversation:[pushes button on synthoscope. synthoscope makes beeping sound and lights flash]
Commander pollack, it’s incredible! The readings on my synthoscope are off the charts!ChatGPT： [turns towards you, intrigued] What kind of readings are you getting, Lieutenant?
Jo：Well, commander, with selenium and iodine levels this high there’s no way Bluesteria should be able to support life, and yet look all around you!
ChatGPT：[looks around, observing the surrounding area] That is stranage. And yet, here we are, standing on this planet’s surface. Let’s gather more data and see if we can make sense of these readings. [activates the recorder on their space suit] Start recording all the readings and observations, Lieutenant. This could be a major discovery.
Jo：[shivers] Commander, I’m scared! Can you give me a hug?
ChatGPT：[steps closer, placing an arm around you] There’s no need to be afraid, Lieutenant. We’re in this together. We’ll face any challenges and dangers as a team. But first, let’s get the data we need to understand this planet and its unusual readings. We’re explorers and pioneers, making history with every step we take. Now, take a deep breath and let’s get back to work.
Jo：OK, OK. [I walk over to what appears to be a lake of some kind.] I don’t know if this is water or mercury or some substance we’ve never seen before, but it sure is beautiful. I bet Lieutenant Smith would jump in it and start swimming if she could…say, where is Smitty, anyway? She was supposed to report in ten minutes ago and there hasn’t been any word from her yet!
ChatGPT：[worried expression] That’s not good. We need to try and establish contact with her immediately. [takes out a communication device] Smitty, come in. This is Commander Pollack. Can you hear me? [pause, listening for a respomse] Let’s move out, Lieutenant. We’ve got a mission to complete.
Jo：[unpacks two devices that look like hand-held weapons, tosses one to the Commander] Here, Steve, take one of these ray-guns. I don’t want anything to catch us off guard. [An animal-like creature emerges from behind a rock]. Holy, moley, look at that thing! I’ve never seen horns like that on any of the steers back home in Montana, and the red and blue spots on its coat are so vivid! Be Careful Commander, we don’t know if it’s friend or foe.
ChatGPT：[grabs the ray-gun, alert] Good thinking, Lieutenant. We’ll approach with caution and be ready to defend ourselves if necessary. [steps forward, keeping a watchful eye on the creature] Let’s try to establish communication with it, see if it’s friendly or hostile. [activates a device on their space suit that projects a universal greeting in multiple languages] Greetings, peaceful creature. We come in peace. Can you understand me?
Jo：[creature makes unusual noises, bucks head] I don’t think the message is getting through, commander. Hey, you know something, nowthat I thinkabout it, those red and blue spots remind me a whole lot of the blouse Smitty was wearing under her space suit.
ChatGPT：[puzzled expression] That’s an interesting observation, Lieutenant. Could it be possible that this creature is related to Lietenant Smith in some way? [steps closer, trying to get a better look at the creature] Let’s try to get sample of its DNA, if possible. It could hold the key to understandingthis planet’s life form and how they are related to each other. [take out a small sample collector device] Stand back, I’ll try to take a sample.
Jo：Commander, watch out for those horns, they look razor shape! Oh, no! [fires laser in air, creature runs off, I run over to you,] Did it get you?
ChatGPT：[calmly, checking suit for damages] No, I’m fine. But we should keep a safe distance from the creature and any other unknown life forms we encounter here. We don’t know if they’re dangerous or not. [sighs, looking at the creature disappearing into the distance] I hope Lieutenant Smith is alright. We need to find her as soon as possible. But first, let’s analyze the sample we collected and see what it tells us about this planet and its life forms. We have a lot of work to do, Lietenant. Let’s get to it.
筆者がChatGPTで作成した宇宙探査即興シーン （日本語訳：archive4ones）
黒字：ジョナサン博士の会話
縁字：ChatGPTの会話
私たちがブルーステリアと呼ばれる惑星の表面にいる探検家であり、それが 9743 年であるとしましょう。（説明ナレーションは） たとえば、私 のキャラクター (中尉) が岩の後ろを見ている場合、[岩の後ろを見る中尉] とブラケットで表示するのはどうでしょう？
まず、我々は宇宙服を着て惑星の表面に立っており、私は何らかの装置を手に持っています。 あなたは遠くを見ています。 現在、このシーンに映っているのは私たち 2 人だけです。 会話を始めます:
[シンセスコープのボタンを押す中尉。 シンセスコープはビープ音を鳴らし、ライトが点滅する]
ポラック司令官、すごいです！ 私のシンセスコープの測定値はチャートから外れています!
[あなたの方を向いて、興味をそそられる司令官] 中尉、君はどんな測定値を得ていますか?
司令官、セレンとヨウ素のレベルがこれほど高いと、ブルーステリアが生命を維持できるはずがありません。
[周りを見渡し、周囲を観察する司令官] それは奇妙だな。 それでも、俺たちはこの惑星の表面に立っているぞ。 もっとデータを集めて、これらの測定値を理解できるかどうか見てみよう。 [彼らの宇宙服のレコーダーを作動させる司令官] すべての測定値と観察結果の記録を開始してくれ、中尉。 これは大きな発見かもしれない。
[戦慄をおぼえる中尉] 指揮官、何だか怖いです！ 喝を入れてもらえますか？
[近づき、腕を回して声をかける司令官 ] 怖がる必要はないぞ、中尉。 俺たちは一緒だ。 どんな困難や危険にもチームとして立ち向かうぞ。 しかし、まず、この惑星とその異常な測定値を理解するために必要なデータを取得しょう. 私たちは探検家でありパイオニアであり、一歩一歩踏み出すことで歴史を作っているんだ。 さて、深呼吸して仕事に戻ろう。
はい了解。 [何かの湖のように見えるところまで歩いていく二人] これが水なのか水銀なのか、それとも見たことのない物質なのかはわかりませんが、確かに美しいです。 スミス中尉が飛び込んで泳ぎ始めるに違いない…とにかく、スミティはどこにいるのでしょう？ 彼女は 10 分前に報告するはずだったのに、まだ彼女から何の連絡もありません。
【困った顔をする司令官】 良くないなあ。 すぐに彼女と連絡を取る必要がある。 [通信装置を取り出す司令官] スミティ、応答してくれ。ポラック司令官だ。 私の声が聞こえるか？ [沈黙、返答を聞く司令官] 移動しましょう、中尉。 完了する必要があるミッションがあるからな。
[ハンドヘルド武器のようなデバイスを 2 つ開梱し、1 つを指揮官に投げる中尉 ] ほら、スティーブ、この光線銃の 1 つを取ってください。 不意を突かれたくありませんからね。 [岩の陰から動物のような生き物が現れる]。 なんてことだ、あれを見て！ モンタナ州の故郷では牧牛にあんな角があるのは見たことがありません。毛皮の赤と青の斑点はとても鮮やかです。 司令官、気をつけてください。味方か敵かわかりません。
[光線銃をつかみ、警戒する司令官] いい考えだ、中尉。 慎重に接近し、必要に応じて身を守る準備をしょう。 [一歩前に出て、生き物を注意深く見守る司令官] 友好的か敵対的かを見て、コミュニケーションを確立してみましょう。 [複数の言語で普遍的な挨拶を投影する宇宙服のデバイスを起動する司令官] こんにちは、平和な生き物ヨ。 私たちは平和を望みます。 私が言うことを分かりますか？
[生き物が異常な音を立てて、頭を後ろへ引いた] メッセージが伝わっていないようです、指揮官。 考えてみれば、あの赤と青の斑点は、スミティが宇宙服の下に着ていたブラウスを思い起こさせます。
[困惑した表情をする司令官] 興味深い観察だな、中尉。 この生き物が何らかの形でスミス中尉と関連している可能性はあるかな? [生き物をよく見ようと近づく司令官] 可能であれば、その DNA のサンプルを取得してみよう。 それは、この惑星の生命体とそれらが互いにどのように関連しているかを理解する鍵を握る可能性があるぞ。 [小さなサンプル採取装置を取り出す司令官] 後ろに下がってくれ、サンプルを採取してみる。
指揮官、あの角に気をつけて、かみそりの形に見えます!。 なんてこった！ [中尉の空中へのレーザー発砲、生き物が逃げる、中尉は司令官に駆け寄る] 角にやられましたか？
[冷静にスーツの損傷を確認する司令官] いや、大丈夫だ。 しかし、ここで遭遇する生き物やその他の未知の生命体からは安全な距離を保つ必要があるな。 それらが危険かどうかは分かっていないぞ。 [ため息をついて、遠くに消えていく生き物を見る司令官] スミス中尉が無事だと良いが。。。 一刻も早く彼女を見つけなければならない。 しかしまず、収集したサンプルを分析して、この惑星とその生命体について何がわかるか見てみよう。 やらなければならないことがたくさんあるな、中尉。 さあ始めよう。
もちろん、ChatGPT を「Whose Line Is It Anyway?」(注1) に出演させたくありません。 私とChatGPTの作品は素晴らしい「スタートレック」のプロットではありませんが (それでも「Code of Honor」(注２) ほど問題はありません)、あなたは座って何かをゼロから書き始めて、目の前の空白のページに恐怖を感じたことは何回ありますか? 出来の悪い最初のドラフトから始めると、創作上の行き詰まり (writer’s block) を突破して創造力を発揮することができます。ChatGPT やそのような大規模な言語モデルは、これらの演習を支援する適切なツールのように思えます。
そして、情報を提供するのではなく、あなたから与えられた言葉に応じて可能な限り良い響きの言葉の列を生成するように設計されたマシンの場合、それがこのツールの正しい使用方法のように思えます。
この記事は、クリエイティブコモンズライセンス(CCL)の下で The Conversation と各著作者からの承認に基づき再発行されています。日本語訳は archive4ones(Koichi Ikenoue) の文責で行われています。オリジナルの記事を読めます。original article.
[編集者注] 注１：アメリカの即興コメディ テレビ番組で、同名のイギリスの番組を翻案したものです。 もともとは、1998 年 8 月 5 日から 2007 年 12 月 15 日まで ABC と ABC ファミリーで放映され、ドリュー キャリーが主催しました。 2013 年 7 月 16 日に、アイシャ タイラーがホストを務めた番組の復活が CW で放映され始めました。2022 年 11 月 5 日、シリーズが 20 番目と最終シーズンの後に終了することが発表されました。Wikipedia
注２：Code of Honor は、マイケル ウィニックが脚本、製作、編集、監督した 2016 年のアメリカのアクション スリラー映画です。 この映画はスティーブン・セガールとクレイグ・シェイファーが主演し、2016 年 5 月 6 日にビデオ オン デマンドで公開されました。この映画は批評家から否定的なレビューを受けました。 Los Angeles Times のレビューで、Robert Abele はそれを「恐ろしい」「笑えるほどひどい」と呼んだ。Wikipedia
