図書館のすみに、古びたAIが置いてありました。遠い昔に作られた自律型の機械で、町の人たちから「AI(人工知能)」と呼ばれています。ひざの上に本をのせて、こちらを見ています。
ソラが小さな声で聞きました。
「この町は、いつできたの?」
AIは、すぐに答えました。つっかえることもなく、すらすらと。町ができた年が出て、だれが作ったかが出て、そのころの町のようすまで出てきました。
「すごい。なんでも知ってるんだ」
リンも聞いてみました。
「この町のことが書いてある本、ある?」
AIは、3さつの題名を答えました。書いた人の名前まで言いました。
2人は、うれしくなって書庫へ走りました。1さつめは、ありました。2さつめも、ありました。3さつめを、司書さんにさがしてもらいました。
司書さんは、しばらくパソコンをたたいてから、顔を上げました。
「この本はね、どこにもないの」
どうして、AIはない本の名前を言ったんだろう?
つづきを読む
司書さんは、こう言いました。
「あの子はね、答えを覚えているんじゃないの。つぎに来そうなことばを、確率で1つずつつないでいるのよ」
「昔むかし、あるところに」と言われたら、つぎに「おじいさんが」と続けたくなります。AIのプログラムがやっているのは、それを ものすごく大量の文章データで計算していることでした。
「この町のことが書いてある本は」のつぎには、本の題名らしいことばが来ます。それがほんとうにある本かどうかは、どこでも見ていません。
「じゃあ、さっきの町ができた年も…」
「たしかめてみたら?」
2人は、町のむかしを書いた本で調べました。年は、合っていました。作った人の名前も、合っていました。ただ、そのころの町のようすの部分だけ、本には書いていないことが混ざっていました。AIがそれらしく作り出した「もっともらしい嘘(知ったかぶり)」だったのです。
帰り道、ソラが言いました。
「ぜんぶうそじゃないから、よけいこまるね」
「うん。だから、名前とか年とか出てきたら、丸をつけて、あとでさがす」
それからも、2人はときどきAIに会いに行きます。聞くのはやめません。聞いたあと、たしかめるようになっただけです。
すらすら答えることと、合っていることは、べつのこと。AIが出した名前・年・数には丸をつけて、本や公式の場所でさがして確かめる。
この話に名前をつけるなら 大規模言語モデルと次トークン予測星間航海士の手引き 11
やってみて だれかに町のむかし話を聞いて、出てきた名前か年に丸をつけて、本でさがしてみて。
詳細解説
サイトの入口。生成AIのハルシネーションを、名前を出さずに体験する話です。「すらすら答えること」と「正しいこと」が独立であるという一点だけを残し、しくみの説明は次話へ送っています。
くわしく読む
背景と目的
目標は知識の獲得ではなく、違和感の登録です。生成AIは流暢性(fluency)と正確性(accuracy)が相関しない道具であり、人は流暢さを信頼性の代理指標として使う認知的な癖を持ちます。この癖に、具体的な失敗例を1つ当てておくことが、以降11話の土台になります。
行動レベルの到達点は「固有名詞・年・数値が出たら印をつけ、一次資料で照合する」という手順を1つ持ち帰ることです。
組み立ての工夫
存在しない書名を挙げる例を選んだのは、検証コストがきわめて低い失敗だからです。司書が蔵書検索をかければ数十秒で決着し、子ども自身が追体験できます。年号のように「一部は正しい」例を同時に置いたのは、全否定(「AIはうそつき」)へ流れるのを防ぐためです。
しくみの説明を司書の一言(「つぎに来そうなことばをつないでいる」)にとどめ、AI自身に語らせないのは意図的です。第2話でAIが自分を説明する場面を、この話の未解決の問いとして残しています。
補足と注意点
この話は「AIを使うな」と言っていません。末尾で2人はAIに会いに行き続けます。変わったのは利用の有無ではなく事後検証の有無です。教室で扱う際は、ここを取り違えないようにしてください。
なお、「ハルシネーション」という専門用語は話の本文には出さず、『しらべノート』第11・12章で初めて名前を与えています。