第2話ひっかかった話
3ぷん
「わからない」が 1つも なかった
ここに出てくる話は、ぜんぶ作ったお話です。だれかをうたがうためではなく、たしかめるためのページです。
リンは、聞きたいことを5つ、紙に書いていきました。
町の港ができた年。いちばん古い建物。むかしの祭りの名前。船の数。そして、川にかかっていた古い橋が、いつこわれたか。
図書館のAIは、5つとも答えました。つっかえることもなく、順番どおりに。
「すごい。ぜんぶ分かった」
ソラも、のぞきこんで感心していました。
2人は、答えをノートに書いて、公民館へ行きました。古い写真や資料が展示してある場所です。4つめまでは、展示の説明板とぴったり合っていました。
5つめの、橋の話のところで、公民館の館長さんが首をひねりました。
「その橋が流された年はね、記録が残っていないんだよ。大水が出たことは確かだが、何年だったかは、今も分かっていないんだ」
AIは、なぜ「わかりません」と言わなかったんだろう?
つづきを読む
図書館にもどって、2人はもう一度AIに聞きました。「あの橋がこわれた年は、本当に合っていますか」。
AIは、こう答えました。
「諸説ありますが、近隣の記録から推測される年代を出力しました」
「推測だったの!?」
ソラが声を上げました。さっきは「1885年に流されました」と、はっきり言い切っていたのです。推測だとは、一言も書いてありませんでした。
リンは、ノートの5つめに大きくバツ印をつけました。それから、「記録なし・年代不明」と書きなおしました。
「5つとも答えてくれたから、全部合ってると思っちゃった」
「うん。1つでも『それは分かりません』って言ってくれたら、気づけたのにね」
AIは、自信満々の口調で答えます。でも、自信のある言い方と、本当に合っているかどうかは、まったく別です。何でも答えてくれるときこそ、本当は一番あぶないのです。
聞いたことに全部そろって答えが返るのは、完璧なのではなく、あやしい合図です。「わからない」が1つも無いときは、立ち止まって確かめましょう。
この話に名前をつけるなら 沈黙なき全能感の罠事故記録アーカイブ 17
やってみて AIに何か聞くとき、プロンプトの最後に「わからないことは、わからないと答えて」と一言つけてみて。
詳細解説
5問すべてに答えが返ったことを、成功ではなく異常の兆候として読む話です。記録が存在しない事項にも答えが返る現象を扱い、「わからない」の欠如を点検項目に加えます。
くわしく読む
背景と目的
言語モデルが「わかりません」を出しにくい理由——質問文の後続として確率が高いのは回答形式の文である——の理解が目標です。これは意図的な隠蔽ではなく、生成の性質から来る構造的な偏りです。
操作としては、プロンプトに「わからないことは、わからないと言って」を前置する手法を1つ渡します。完全には解消しませんが、出力の分布は変わります。
組み立ての工夫
5問中4問が正しく、誤りは1問だけという配分にしました。正答率が高いことと、誤りが識別できないことは両立します。むしろ正答率が高いほど、混入した誤りは見つけにくい。本文の「まちがってたのがどれかは、答えを読んだだけでは分からない」が要旨です。
判定を司書に委ねました。記録の不在は、個人の検索では確認しにくい情報であり、レファレンスサービスの価値を示す場面でもあります。
補足と注意点
「全部に答えたらうそ」ではありません。確認すべき合図として扱います。身近な事項や広く記録された事項では、全問回答は自然です。