ノート 17 星間航海士の手引き 約1分
指示追従バイアスにより「分かりません」と回答しにくいAIの構造的特質。全問即答の異常性を察知し、あらかじめ不確実な場合の回答拒否を促すプロンプト設計を扱います。
言語モデルは指示追従バイアスを持つため、「わかりません」と回答を拒否することに統計的な抵抗感が生じやすい機構を持っています。質問の後続として最も出現確率が高いのは「答えの体裁をした文章」だからです。
そのため、提示した複数の高度な設問に対して、淀みなく全問即答される事態が発生します。一見すると完璧な応答に見えますが、本来の調査探究において未知や不確定要素が1つも存在しないことはあり得ません。
検証の合図は明白です。「わからない」という留保が1件も含まれていない全問即答こそを、モデルの過剰補完として疑うべきです。
有効なプロンプト技術として、「不確定な情報については推測せず、率直に『わからない』と回答してください」という制約条件を明示的に前置することが推奨されます。
全問即答はモデルの過剰補完の兆候である。「不確定な場合は回答拒否せよ」と制約を課し、未知を炙り出す。
この概念の背景となる事象 AIが じぶんのことを 話した日ふしぎな話 第2話
「わからない」が出力に現れにくい理由と、不明がゼロであること自体を異常の合図として使う読み方を扱います。
不明の欠如を、品質の高さではなく出力分布の偏りとして読めるようにすることが目標です。質問文に後続しやすいのは回答形式の文であり、拒否や保留は相対的に生成されにくい。
「ふつう、調べものをすれば分からないことが必ずいくつか出ます」という基準線を先に置きました。比較対象がないと、不明ゼロが異常だと判断できません。
対処としてプロンプトへの前置(「わからないことは、わからないと言ってね」)を挙げ、同時に「これでゼロにはなりません」と限界も書いています。対処の効果を過大に書くと、確認をやめる方向に働きます。
確認の形を「分からなかったことは、いくつありましたか」と数でたずねる問いにしました。数を聞くと、ゼロという答えがはっきり出ます。
広く記録された事項では全問回答が自然です。古いこと・小さな地域のこと・記録の少ないことに限定して警戒を促しています。