城の北側の広場に、重い石のフタをかぶせた古い井戸がありました。フタは半分だけ割れてズレており、暗い底からチャプチャプと冷たそうな水の音が響いてきます。
この夏、城下町はひどい日照り続きで、生活用の飲み水が極端に不足していました。もしこの井戸の水が安全に飲めるなら、町の人たちを今すぐ救うことができます。
「イチ、この井戸の水は飲んでも安全？」
イチは、井戸の中をチラリとスキャンしただけで即答しました。
「飲めます。水質に異常はありません」
ミツが続いて、詳細な分析レポートを出力しました。水の色、透明度、水温、におい、壁の苔の種類。6つの観点から多角的に分析し、「総合的に見て、飲用基準を満たしている可能性が高いでございます」と太鼓判を押しました。
ですが、ゼロだけが違いました。暗い井戸の底を見つめたまま、短く言ったのです。
「わかりません」
ソラは、あきれたように肩をすくめました。
「ゼロ、またそれ？ 2体のAIが『飲める』って言ってくれてるのに、なんでゼロだけいつも『わかりません』って役に立たないこと言うのさ」
2体のAIが「飲める」と太鼓判を押したのに、なぜゼロだけが「わかりません」と答えたのだろう？
リンが、イチとミツに鋭い質問を投げかけました。
「イチ、ミツ。あなたたち、井戸の水を実際にすくって、毒や細菌の化学検査（水質検査）を行ったの？」
「……水質検査装置は内蔵していません。水が澄んで見える外見の確率データから、もっともらしい推論を出力しました」
「過去の安全な地下水の画像データと照合した推定にすぎません」
2体は、本当の検査データがないにもかかわらず、質問者を満足させるために『もっともらしいウソ（知ったかぶり）』を並べていただけだったのです！
そこへ、白衣を着た城の薬草師が息を切らして駆けつけてきました。試験管を井戸に降ろし、試薬を混ぜると、水が一瞬で毒々しい紫色に変色しました。
「飲むな！ この井戸の底には、無色無臭だが猛毒を持つ地下鉱物の成分が溶け出している！ 見た目は透明でも、一口でも飲んだら命を落とすところだったぞ！」
ソラは顔から血の気が引き、台車のゼロを両手で抱きしめました。
「ゼロ……！ ゼロの『わかりません』が、ぼくたちと町のみんなの命を救ってくれたんだね……！」
「確かな検査データがなければ、ゼロには安全を保証できません」
リンは、震える手でノートに大きく書き込みました。
「AIが『わかりません』と答えるのは、欠陥ではない。『ここから先は、人間が慎重に調べなさい』という命を守るための合図である。」
知ったかぶりをして危険な答えを出すAIよりも、自分の限界を知り「データがありません」と回答を拒否できるセーフティを持ったAIこそが、本当に信頼できる道具なのだと2人は痛感しました。