生成AIが一般に知られ始めた頃、よく問題になったのがハルシネーションだった。存在しない人物、架空の論文、間違った日付などを、まるで事実であるかのように答えてしまう現象である。
AIは賢くなった。しかし「正しい」とは限らない
現在のAIは当時よりかなり改善されている。検索機能を使い、出典を示しながら回答できるサービスも増えた。それでも、AIが出した文章をそのまま「正解」と扱うのは危険だ。
むしろ性能が上がった現在のほうが注意が必要ともいえる。文章が自然で説明も上手いため、間違っていても、それらしく見えてしまうからだ。
プログラムと同じで「作った本人」は間違いを見つけにくい
少し違う分野の話になるが、プログラム開発にはコードレビューやテストという工程がある。プログラマー本人も当然デバッグするが、別の開発者やテスターが確認することには大きな意味がある。
理由は単純だ。作った本人には「自分はこう作った」という前提がある。
本来なら疑うべき部分でも、「ここは正常に動くはずだ」と無意識に考えてしまう。そのため、第三者が触った瞬間に妙なバグが見つかることがある。
AIの回答も、これに近い。
あるAIに文章を書かせ、そのAI自身に「間違いがないか確認して」と頼むことはできる。しかし同じモデルが同じ発想、同じ推論経路をたどれば、最初に見落とした問題を再び見落とす可能性がある。
そこで「別のAIにケチをつけさせる」
有効なのが、役割を分離する方法である。
AI-Aには調査と文章作成を担当させる。そして完成した文章をAI-Bへ渡し、「この文章の間違いを探せ」と指示する。
ここで重要なのは、「この文章は正しいですか？」と聞かないことだ。
正誤を尋ねるだけでは、AIが文章全体の流れに引っ張られ、「概ね正しい」と評価して終わることがある。
それよりも、「日付、人物名、数字、制度、法律、因果関係を一つずつ疑え」と命令したほうが、チェック役として機能しやすい。
AI同士を対立させると、弱点が見えてくる
面白いのは、AIを協力させるより、あえて対立させる使い方である。
一方には「この説を説明せよ」。もう一方には「その説が間違っている可能性を探せ」と指示する。
すると、最初の回答では当然のように書かれていた部分に対して、「その数字の根拠は何か」「その因果関係は証明されているのか」「別の解釈はないのか」といった反論が出てくる。
これは人間同士の議論にも近い。全員が賛成している会議より、一人くらい疑う人間がいたほうが問題点は見つかりやすい。
生成AIも「回答装置」ではなく、「作成役」「反論役」「検証役」に分業させることで、利用価値が変わってくる。
ただし、AIが2つ賛成しても事実確定ではない
注意したい罠もある。
AI-AとAI-Bが両方とも「正しい」と判断したからといって、その情報が事実である保証はない。
例えばネット上に広く拡散された間違った情報を、両方のAIが参照していた場合である。二つのAIが別々に調べたつもりでも、元をたどれば同じ記事や同じ誤情報に行き着いている可能性がある。
AIの多数決は、証拠にはならない。
ここを勘違いすると、「ChatGPTでも合っていた。別のAIでも合っていた。だから100％正しい」という、新しい形の思い込みが生まれる。
最後は「証拠を見る」という古典的な方法に戻る
現実的には、すべての記述を人間が一から調査する必要はない。
まずAI-Aに調べさせる。次にAI-Bに徹底的に疑わせる。そしてAI-Bが怪しいと指摘した部分や、記事の核心となる数字だけを、人間が一次資料や公的資料で確認する。
この方法なら、人間の作業量をかなり減らせる。
つまり、「AIを信用しない」のではなく、「AIを一台だけ信用しない」という使い方である。
AI時代は「答えを聞く技術」から「疑わせる技術」へ
生成AIが登場した当初は、「AIに何を聞けばいいのか」が重要だった。
ところがAIの性能が上がるほど、次に重要になるのは「出てきた答えをどう壊すか」ではないだろうか。
一発で正解を出してもらおうとするより、まず答えを作らせ、別のAIに穴を探させ、最後に証拠を確認する。
プログラムを作ってテストするように、AIの文章も別のAIでテストする。
AIの回答を信用するな。別のAIにケチをつけさせろ。
少々乱暴な言い方だが、AIが日常的な道具になった時代には、このくらい疑って使うほうがちょうどいい。
【編集者が思うこと】
AIは「かなり優秀な部下」くらいに考えるのが、ちょうどいいのかもしれない。仕事は任せる。でも最終的な責任は俺が取る。管理職と同じだね。だから重要な数字や事実だけは、自分の目で見直す。この距離感が、いちばん現実的だと思う。