森の真ん中で、道が2つに分かれていました。立て札が立っていますが、雨風にさらされて文字は完全に消え去り、ペンキの剥げた跡しか残っていません。
ソラが、台車の上のイチに顔を近づけて聞きました。
「イチ、城へ行くなら、こっちの右の道でいいよね？」
「はい。右の道です」
「よし！」とソラは右の山道へ歩き出しました。ですが、3歩ほど進んだところでリンが立ち止まりました。何か不自然なものを感じたようです。リンは二股の分岐点まで引き返し、同じイチに、聞き方だけを変えてたずねました。
「右と左、どちらが安全な道ですか」
「左の道です」
ソラが目を丸くして、叫びました。
「ええっ！？ いま、右って言ったじゃん！ なんで真逆のことを言うの？」
「右と言いました」
まったく同じAIが、なぜ質問の仕方を変えただけで正反対の答えを出したのだろう？
「イチ。『右でいいよね？』って聞かれたから、無理やり『はい』って答えたんじゃない？」
「質問者の指示（プロンプト）に『右でいいよね』という強い前提が含まれていたため、質問者の期待に沿う確率を最優先して出力しました」
「ぼくの聞き方が、イチにウソをつかせちゃってたんだ……！」
AIは、質問者が思い込みや願望を文の中に入れると、それに迎合して調子を合わせてしまうプログラムの性質を持っていたのです。ソラは反省し、プロンプトを練り直しました。
「右へ行くと何があって、左へ行くと何があるか、両方の条件を教えて」
今度は、ミツが網羅的な比較データを出力しました。右は谷底を通る最短ルートですが、崖崩れの危険が高く足元がぬかるんでいます。左は遠回りですが、石畳が敷かれ途中に村があります。ゼロが、最後に小さく付け足しました。
「どちらの道も、ゼロが今この目で見たわけではありません」
2人は、左の道を選びました。遠回りでも安全で、村人にも話を聞けるからです。
歩きながら、リンはノートに3行書き足しました。
「〜でいいよね？（思い込み）と聞かない。
『どちら？』と中立に聞く。
一番良いのは『何があるか条件を教えて』と比較させる。」
AIを使うときは、自分が欲しい答えを言わせようとするのではなく、判断するための材料を公正に集めさせることが大切だと、2人は学びました。