ノート 15 星間航海士の手引き 約1分
生成パラメータによる出力の非決定性と、異なるモデル間の回答不一致。不一致の発生箇所を未確定領域のセンサーとして活用する高度な検証技術を提示します。
同一のプロンプトを投入しても、サンプリング温度パラメータ（Temperature）等による非決定性により、生成される回答は試行ごとに揺らぎます。異なるモデル間で比較すれば、その応答傾向（クセ）の違いはより顕著になります。
特定のモデルを盲信することは危険です。常に100%正解を出力するAIは存在しません。そして、「複数のAIに尋ねて回答が一致したから正しい」という推論も成立しません。各モデルがWeb上の同一の誤った情報源を学習していた可能性があるからです。
真に実務の武器となるのは、回答が一致した部分ではなく、モデル間で回答がばらばらに割れた分岐点です。不一致が生じた箇所には、前提条件の曖昧さや、学説の未確定性が潜んでいます。そここそが人間が自ら調査・検証すべき核心領域となります。
一致は独立した証明にならない。モデル間で回答が不一致となった分岐点を、調査すべき未確定領域として捉える。
この概念の背景となる事象 3つの AIふしぎな話 第4話
同一の問いに対する出力の非決定性とモデル間差を扱い、「そろったから正しい」を退けてばらつきの位置を調査対象にするという運用を示します。
複数モデルへの照会を多数決として使わないことが目標です。訓練データが重なる以上、一致は独立検証になりません。統計でいう相関した情報源の問題です。
「3つとも、同じ1つの文章を読んでいたのかもしれない」という1文で、一致の無意味さを直観的に示しました。
クセの例(年を断定する/長く説明する/わからないと言いやすい)は、調整方針の差から生じる実際の傾向を下敷きにしています。優劣ではなく特性の差として書きました。
クセの例は実在の対話型AIの傾向を下敷きにしていますが、製品名は出しません。名前を出すと良し悪しの評価になり、製品が変われば古くなります。
「ばらばらなら、どれも信用できない」という受け取り方にならないよう、ばらつきはしらべる場所が見つかった合図として書いています。