ノート 14 星間航海士の手引き 約2分
事前学習カットオフ時点による知識の限界と、最新事象・固有ドメインに対する不案内。無知な領域であっても平然と確率的推論を出力するリスクへの対策を扱います。
AIの知識は、モデルが事前学習されたデータセットの収集範囲とカットオフ時点によって厳格に境界づけられています。それ以降に生じた最新事象や、外部に公開されていないローカルな記録について、AIは原理的に知識を持ちません。
重大なリスクは、知らない事象を尋ねられた際にも、AIが沈黙せず「それらしい文章を補完して出力してしまう」点にあります。悪意による嘘ではなく、確率的に尤もらしい文章を生成することが言語モデルの機構そのものだからです。
学習データ由来の言明と、確率的補完による言明は、全く同じトーンで出力されます。不確実な部分だけフォントが小さくなるような親切な警告は存在しません。
したがって、受け取り側が能動的に選別する必要があります。出力文に含まれる「固有名詞・年号・定量的数値」を特定し、外部の一次情報源と照合してグラウンディング（根拠付け）を行います。
AIの知識は学習データのカットオフと公開範囲に縛られる。最新事象・未公開領域の出力は必ず外部根拠で接地する。
この概念の背景となる事象 AIが じぶんのことを 話した日ふしぎな話 第2話
AIの知識境界を扱います。学習時点以降・未記述・個人的な事柄は知り得ない。にもかかわらず答えが返る理由と、その見分けがつかない理由を示します。
2つの理解が目標です。第一に知識境界の存在(学習データのカットオフ、記述量の不足)。第二に、境界の外でも出力が生成されること。境界は出力の見た目に現れません。
「名前・年・数」を確認対象の目じるしとしました。固有名詞と数値は、照合が容易で、かつ誤りが生じやすいという二重の理由から検証対象として効率がよい。
図(見たこと/見ていないこと→同じ調子の出力)を入れ、境界が出力段階で消えることを視覚化しています。
学習の区切りを「ある日までの文章を読んで、そこで読むのをやめた」と言いかえました。専門の語を使わずに、区切りがあることと、その先が空白であることを同時に渡せます。
検索連携やツール利用のある構成では事情が変わります。本ページは、手もとの対話型AIの素の挙動を前提にしています。