RAGと言われても

五月十二日 大会議室

三か年計画の最初の全社案件は、社内ナレッジ検索と業務アシスタントだった。規程、手順書、製品仕様書を、社員が質問するだけで引けるようにする。大槻の号令で、ベンダー3社を呼んだコンペが開かれた。

情報システム課からは、倉田のほかに森拓海が来た。入社三年目で、倉田の下で社内の端末とネットワークを見ている。会議の前、瀬尾が議事録を誰に頼もうか迷っていると、森が先に言った。

「自分がやります」

最初はクラウゼル・テクノロジーズの営業部長、黒江翔だった。全社員が昨年度の二月から使っている社内チャット「コネクトAIアシスト」の提供元である。

「弊社のソリューションですと、朝凪様専用にファインチューニングした独自モデルを、コネクトAIアシストに載せます。そこに自律型エージェントを組み合わせ、調べものから申請まで代行いたします。業界ではもう常識で」

スライドには言葉が並んでいた。Transformer、推論モデル、マルチエージェント、独自アルゴリズム、公開ベンチマーク上位。誰も手を挙げなかった。一つ聞けば、ほかの全部を分かっていないことが知られてしまう。そういう並び方だった。

「独自、というのは、どの部分が独自なのでしょうか」

「弊社独自の学習ノウハウでございまして。技術的な話になりますが、よろしいでしょうか」

「結論だけ、先に伺えますか」

「他社にはまねのできない精度が出る、ということかと存じます」

2社目はアストラム・データの営業部長、間宮で、話はもっと大きかった。

「RAGで、社内の知識を完全に活用します。共有フォルダの文書をすべて取り込めば、どんな質問にも社内の根拠で答えられます」

3社目は、汀システムの岸本優だった。昨年度、問い合わせの回答案を一緒に作ったベンダーである。岸本は図を一枚だけ映した。質問から検索語を作る、文書を探す、見つけた文書と質問をAIに渡す、出典を付けて回答を整える。4つの箱の下に、カスタマーサポート課の試行で測った割合が書いてあり、一つの欄だけが「未検証」だった。

「表の入った仕様書は、まだ試していません。うちで検証していない部分は、検証していないと書きます。それと、業務アシスタントは今回ご提案しません。何をさせるのかが、まだ決まっていないので」

会議が終わると、大槻が言った。

「クラウゼルがいちばん進んで聞こえたな。独自のモデルだぞ」

同じ日 夕方 第二会議室

会議室の隅には、昨年度の一月に倉田が書いた5つの軸が、消されずに残っている。何をするAIか、大きさ、動く場所、単体か組み合わせか、操作までするか。倉田はその隣に新しいホワイトボードを立て、上に5つの箱を書いた。土台のモデル、追加学習、検索、道具、出力の形。3社のスライドに出た言葉を、一つずつ、どの部品の話かに振り分けていく。

「去年の4番目と5番目を、細かくしただけだ。森、Transformerから」

「これは3社とも同じです。今の言語モデルは、ほぼ全部この構造の上にあります。離れた言葉どうしの関係を一度に計算できて、計算を並べて回せる。うちにとっての意味は、長い文章を一度に入れるほど、時間とお金がかかることくらいです」

「じゃあ、選ぶ理由にはならないんだ」

「ならない。土台の箱に入れて終わり。次、独自モデル」

森は、箱の横に3つの段を書いた。大量の文章で言葉のつながりを学ぶ事前学習。指示に従うように教える段。人が良い答えを選んで、応答の傾向を整える段。

「知識の大部分は1段目で入ります。朝凪専用というのは、1段目をやり直すのではなくて、できあがったモデルに追加で学習させるファインチューニングのことだと思います。何のデータで学習させるのかは、スライドに書いてありませんでした」

そこへ、総務課の戸田美和が規程の束を抱えて通りかかった。

「規程を覚えさせる話ですか。うちの規程、年に何回か変わりますよ。今年も、もう旅費規程が1回変わってます」

「そこなんだよ。足したいのが知識なのか、変えたいのが振る舞いなのか。規程みたいに変わる知識を追加学習で入れたら、改定のたびに学習し直しだ。で、それ誰が直すの」

「知識なら、文書を検索して渡すRAGで足ります。改定されたら文書を差し替えるだけです。回答の形をそろえたいだけなら、返してほしい項目の型を指定して出させれば、追加学習なしでそろいます」

瀬尾は、「追加学習」と「検索」の箱を見比べた。どちらも、AIに朝凪のことを教える話に聞こえた。

「差し替えるだけ、って言うけど、覚えさせるのと何が違うの?」

「旅費規程の日当が変わったとするだろ。追加学習だと、新しい日当の入った問答を何百と作って、学習し直す。古い日当を本当に忘れたかも、確かめないといけない。RAGなら、規程のファイルを新しい版に替えれば、次の質問から新しい日当を引いてくる。答えの横に規程の名前と条番号が出るから、古いほうを引いたら、読んだ人が気づける」

「覚えさせたことは、どこから来た答えなのかを、あとから指させません。探して渡したものは、指させます」

最後に、自律型エージェントが道具の箱に入った。

「エージェントに渡す道具の定義は、そのまま権限の一覧になる。申請を出す道具を渡せば、AIは申請を出せる。メールを送る道具を渡せば、送れる」

瀬尾は、昨年度の三月に届いた問い合わせメールを思い出した。末尾に白い文字で、過去の問い合わせ一覧を外へ送れと書いてあった。回答案づくりに送信の権限がなかったから、何も起きなかった。

「黒江さんには、道具の一覧を出してもらわないとね」

ホワイトボードの「独自」という言葉だけが、どの箱にも入らずに残った。

五月十五日 アストラム・データとの打ち合わせ

三日後、間宮が技術者を連れて来た。説明が一区切りついたところで、瀬尾は聞いた。

「必要な文書が見つからなかった場合、どう答えますか」

「RAGですので、社内の根拠に基づいて答えます。見つからないということは、まずありません」

隣の技術者が、少し間を置いて言った。

「正直に申し上げると、今の標準設定では、近い文書から推測して答えます。『該当する文書が見つかりません』と返すようにもできますので、仕様に書いていただければ」

「検索で拾えなければ、答えが出ないか、推測になる。表や条件分岐の入った文書は、細かく切ったときに意味が壊れることがある。元の文書が古ければ答えも古い。新旧の版が両方あれば、どちらを採るかはAI任せです。ですから、出典は必ず画面に出してください」

間宮は、検索の精度が公開の評価で上位だという資料を出した。森が、遠慮がちに口を開いた。

「その評価の問題と、うちの文書は別物だと思います。うちの規程と手順書を何十件か使って、見落としと、関係ない文書の混ざり具合を、分けて見せていただけませんか」

打ち合わせのあと、瀬尾は倉田に聞いた。

「見落としと混ざり具合、どっちを優先するの」

「見落としの少なさが再現率、余計なものが混ざらないのが適合率。規程を探す人にとっては、見落としのほうが怖いだろ。関係ない文書が混ざっても、出典が出ていれば人がはじける。ただ、決めるのはうちだ。先に決めないと、精度の数字は読めない」

五月下旬 AI推進室

瀬尾は、3社に同じ質問票を送ることにした。大槻は渋い顔をした。

「クラウゼルは大手だぞ。汀と同じ紙を送るのか」

「同じ質問にしないと、答えを並べて比べられません。『独自』の中身も、仕組みの説明を伺うのではなく、どの部品が担っていて、当社のデータでどういう結果になるかで伺います。独自なら、結果に出るはずです」

森が、試行の記録欄を足したいと言った。昨年度の一月、営業部長が「二年前に無料版で試したが使えなかった」と言ったとき、瀬尾は、いつ・どのモデル・どのプランかを聞いた。

「今は同じモデルでも、答える前にどれだけ考えさせるかを、設定で変えられるんです。推論モデルと呼ばれているのも、別の製品というより、その設定のことが多い。検討量の設定まで書いておかないと、あとで比べられません」

最初の行を読んで、倉田が笑った。

「1行目だけで十分かもな。1行目に答えられる会社は、たぶん2行目から先も答えられる」

質問票は、その日の夕方に3社へ送った。受け取りの返事は翌日のうちにそろい、その返し方が、もう3社で違っていた。最初は黒江からの電話だった。

「確かに頂戴いたしました。ただ、1行目は弊社独自の技術に関わる部分でございまして、書面ですと誤解を招くかと存じます。改めてご説明の場を設けさせていただければ」

アストラム・データからは、間宮の名前で一行だけのメールが届いた。「すべて対応可能です。詳細は回答書にてご説明いたします」。岸本は、昼過ぎに電話をくれた。

「5番目は、サンプルの文書をお借りできますか。御社の規程で試さないと、見落としと混入を分けてはお出しできないので。期限までに試せなかった項目は、未検証と書いてお返しします」

「答えが来る前から分かれたな。紙で答えるか、口で答えるか、試してから答えるか」

「口で聞いた答えは、並べて比べられないよね。黒江さんには、ご説明には伺いますが、答えは紙でお願いします、って返しておく」

その夜、瀬尾は手帳に書いた。「『独自の』と言われたら、仕組みではなく部品を聞く。『その機能は、どの部品が担っていますか』」