ノート 15 事故記録アーカイブ 約1分
ここに出てくる話は、ぜんぶ作ったお話です。だれかをうたがうためではなく、たしかめるためのページです。
画面に最初に提示された単一の出力結果を唯一無二の正解とみなす盲信。同一プロンプトの再試行や別モデルでの並行照合を怠ることで見落とされる不確定性を暴きます。
画面に最初に提示された単一の出力を唯一絶対の真実と錯覚する認知バイアスが存在します。画面に現れなかった無数の代替案や対立仮説は、観測者にとって「存在しないもの」として不可視化されます。
実際には、プロンプトのワーディングを僅かに変更するだけで出力の方向性は劇的に変化します。「1つに見えていた答え」は、無数にあり得た確率分布の中から偶発的に抽出された1サンプルに過ぎません。
実務的な対抗策は2点です。同一プロンプトの角度を変えて再生成を行うこと。そして、アーキテクチャの異なる別系統のモデルに同一の問いを投げることです。
回答の一致に安心するのではなく、意見が割れた論点にマーキングを行い、不確定性の根源を突き止めるアプローチをとらなければなりません。
最初に提示された単一の出力を絶対視しない。角度を変えた再試行と他モデルとの比較で不確実性を可視化する。
このインシデントの背景となる事象 気づいたら べつの話ひっかかった話 第4話
単一の回答を唯一の答えと誤認する形を扱います。「出てこなかったものは、無いのと同じに見える」という不可視性が要旨です。
1つの出力が、ありえた出力分布からの1サンプルである、という見方の獲得が目標です。画面に出るのは1つだけですが、それは唯一ではありません。
対処を2段(言い方を変えてもう一度・違う道具にも聞く)にし、そのうえで「そろったときに安心するのではなく、ばらばらになったところに印をつける」としました。『しらべノート』第15章と同じ結論に、逆方向から到達する構成にしています。
「出てこなかったものは、無いのと同じに見える」を、しらべノート8の推薦の話と同じ言い方にしました。見えないものは数えられない、という一点で2つがつながります。
複数の道具に聞いて答えがそろっても、確かめたことにはなりません。そろう理由は、表の巻(しらべノート15)に置いてあります。
1回で決めるな、とも言っていません。言いかえや要約なら、1つで足ります。2回聞くのは、答えが割れうる問いのときです。