大規模言語モデル（LLM）は、外部の知識データベースを検索しているのではなく、巨大なテキストコーパスから学習した統計的分布に基づき、文脈の直後に続く「次トークン」の確率分布を予測し、その分布と生成設定（サンプリング手法や温度パラメータなど）に従って逐次選択・出力しています。

AIは、つぎに来やすいことばを1つずつつないでいる昔むかし、あるところにつぎに来やすいことばおじいさんが大きなコンピュータが確率にもとづいて次のことばを選び、また同じことをくり返す「本当かどうか」は、どこでも見ていない
文章を作るAIは、答えを覚えているのではありません。ここまでの文のつぎに来やすいことばを確率にもとづいて選び、それを足してまた選ぶ、をくり返しています。選ぶときに見ているのは「来やすさ」であって、「本当かどうか」ではありません。

この動作原理を理解すると、モデルの代表的な振る舞いや特有の癖を、次のように論理的に説明できます。

  • 文章が極めて流暢である ― 単語間の接続確率を膨大に学習しているため。表現の巧拙と事実の正確性は完全に独立している
  • 精緻な嘘を出力する ― 事実の真偽ではなく「文脈から統計的に自然につながる文字列」を生成しているため
  • 質問の論調によって回答が変化する ― プロンプトに含まれる語彙によって後続トークンの確率分布が変動するため
  • 「わかりません」と答えにくい ― 疑問文の直後に統計的に出現しやすいのは「回答形式の文」であるため

プロンプトによる誘導を補正するための実務技術が、「反対の聞き方でも、もう1回聞く」ことです。肯定的な問いと否定的な問いの双方を投げかけ、出力の揺らぎからモデルの迎合性を検知します。