石の門をくぐると、活気のある城下町が広がっていました。坂道を上りつめると、王城の大広間に出ます。広間の中央には山積みになった麦の袋が並び、倉の管理者や役人たちが頭を抱えて議論を止めていました。
厳しい冬を越すために、この麦の備蓄で足りるかどうかが決まらず、困り果てていたのです。
「イチに計算させてみようよ。イチ、冬を越すのに麦は何袋必要?」
イチは、瞬きひとつの間に答えを出しました。
「48袋あれば、完全に足ります」
広間が、しんと静まり返りました。迷いのないきっぱりとした声と正確そうな数字に、倉の管理人がパッと顔を明るくして立ち上がりました。
「おお、48袋か! よし、残りの麦は隣村へ分けてやれるぞ!」
管理人が台帳に羽ペンを走らせようとしたとき、リンがスッと前に出ました。
「待って。イチ、どうやってその48袋を計算したの? 途中の計算式と、前提にしたデータを見せて」
イチの出した数字は完璧に見えるのに、リンはなぜ「とちゅうを見せて」と言ったのだろう?
イチは、カタカタと電子音を鳴らしながら、計算のプロセスを広間の黒板に映し出しました。
「大人が一冬に食べる麦の量を1人あたり0.8袋、城に住む大人の人口を60人として掛け算しました。60かける0.8で、48袋です」
その式を見た瞬間、倉の管理人が青ざめて叫びました。
「ま、待ってくれ! 人口が60人だと!? 先月、ふもとの村から避難してきた職人たちが20人増えて、今は80人いるんだぞ!」
イチが計算に使った元のデータ(人口の前提)が、20人も間違っていたのです。計算式そのものは正しくても、入力されたデータが間違っていれば、出てくる答えも大間違いになります。
「80人で計算し直したら……64袋必要だ! 48袋で配っちゃってたら、冬の途中でみんなが飢えるところだったよ……!」
ソラは背筋が寒くなりました。イチの計算プロセス(途中)を確認していなければ、誰もこの間違いに気づけなかったはずです。
無事に計算をやり直した管理人は、何度も2人に頭を下げて感謝しました。
城の階段を降りながら、リンが手帳に書き留めました。
「AIの出した結論や数字だけを見るな。『どうやって計算したのか(途中)』を出力させて、前提データの間違いを探す。」
どれほど賢いAIでも、前提がズレていれば大事故を起こします。途中式をチェックして初めて、人間はAIの答えを安全に使えるのです。