ノート 11 事故記録アーカイブ 約1分
ここに出てくる話は、ぜんぶ作ったお話です。だれかをうたがうためではなく、たしかめるためのページです。
文法的整合性と学術的論調を完全に維持しながら、根底の事実が100%架空であるハルシネーションの脅威。流暢さと正しさが独立であるという事実の厳密な実証です。
人間が嘘や推測を述べる際には、言い淀み、声のトーンの変化、論理の破綻といった兆候が現れます。しかしAIは、確証のある事実も完全に捏造された架空情報も、全く同一の自信に満ちた調子で出力します。
誤謬が発生しやすい領域には明確な偏りがあります。
誤謬が出やすい領域に共通するのは、「学習データ内の出現頻度が低く、情報密度が希薄である」という点です。記録が少ない事象を尋ねるほど、モデルは確率補完によって架空の事実を捏造します。
美しい文体や整然としたフォーマットは信憑性の証明になりません。流暢さに惑わされず、細部のファクトチェックを厳格に執行する必要があります。
流暢さと正確性は独立している。固有名詞・年号・数値を特定し、外部の一次情報と照合して真偽を確定する。
このインシデントの背景となる事象 「わからない」が 1つも なかったひっかかった話 第2話
作話が同じ文体で出力されることを扱います。誤りが出やすい領域と出にくい領域を分け、検証の力を配分します。
誤りの分布が一様でないことの理解が目標です。固有名詞・件数・順位・小さな地域の事柄では誤りが増え、言いかえ・要約・一般的な語義では減ります。後者は検証コストをかけなくてよいという判断も含みます。
末尾でAIから話を広げ、「うまく書かれたページ、堂々と話す人、きれいなスライド」も同じだと書きました。形式の整いと内容の正しさは別という、AIに限らない一般則へ接続しています。
まちがいが出やすい側(名前・件数・順位・小さな地域)と、出にくい側(言いかえ・要約・ことばの意味)を両方書きました。片側だけだと、全部をうたがう運用になります。
「それっぽいうそ」は、この巻でつけた呼び名です。なぜそうなるかは、表の巻(しらべノート11)がことばをつなぐしくみの側から受け持ちます。
うそという語を使っていますが、だます意図があるわけではありません。名前は、気づきやすさのために付けています。