比較表の余白

六月三日 AI推進室

五月の終わりに3社へ送った質問票の答えが、六月の最初の週にそろった。社内ナレッジ検索と業務アシスタントのコンペに呼んだ、クラウゼル・テクノロジーズ、アストラム・データ、汀システムの3社である。どの回答書にも、頼んでいない別紙が一枚ずつ付いていた。モデルやサービスの比較表だった。

AI推進室の室長代理、瀬尾奈々は、3枚を机に並べた。向かいには情報システム課の森拓海が座った。入社三年目で、五月のコンペから推進室の実務を手伝っている。

「3枚とも、自分の会社がいちばん上だね」

「並べる項目を決めたのが、それぞれの会社ですから。上に来るのは自然だと思います。見るなら、何が載っていないかのほうです」

森は、クラウゼルの表の「A社モデル」「B社モデル」に鉛筆で丸をつけ、それぞれの提供元の更新情報を開いた。どちらも一つ前の世代で、今は後継のモデルが出ていた。

「最新のモデルを、他社の一つ前のモデルと並べています。いつ、どの設定で測ったかも書いてありません。答える前にどれだけ考えさせるかで、点数は変わるのに」

「アストラムのほうは?」

「適合率だけです。関係ない文書が混ざらないほう。見落としの少なさ、再現率が載っていません。それに『他社平均』の他社がどこなのか、分かりません」

汀の表だけは、下に小さな字で条件が並んでいた。いつ、何を、何件で測ったか。何を測っていないか。汀も自社をいちばん上に置いていたが、条件が書いてあるぶん、確かめる手がかりがあった。

瀬尾は、3枚のどれにも載っていないものを手帳に書き出した。使うモデルの版を固定できるか。一度にどれだけ送れるか。送ったデータを学習に使うか。止まったとき、何を約束してくれるか。

「表の余白のほうが、動かしてから効いてきそうだね」

六月五日 常務室

二日後、常務の大槻修に呼ばれた。AI推進室の室長を兼ね、このコンペの決裁をする人である。机の上に、ウェブの記事を印刷した紙があった。営業部で誰かが見つけ、部署をまたいで転送されてきたという。

「専門のサイトがこう書いてる。1位は安くて性能もいい。結論から頼む。3社の表とこの記事を突き合わせれば、決まりじゃないのか」

森が紙を裏返し、いちばん下の行を指さした。小さな字で「PR」とあり、その横に掲載日があった。一年半前の日付だった。

「広告の記事です。載っているサービスのどこかが、お金を出して載せています。それと、掲載が一年半前です」

森はその場で、1位のサービスの提供元の料金表を開いた。

「今の料金表は、文字数ではなくトークンで数えています。入力と出力で単価も違います。記事の料金は数える単位ごと古いので、今の料金表とは並べて比べられません」

「記事の日付なんて、誰も見ないだろう」

「わたしも見ていませんでした。記事は、何を調べればいいかの入口には使えます。でも料金と条件は、提供元の料金表と利用規約で確かめます。見た日付も残します。半年後には、また変わっているかもしれないので」

記事には、5つのサービスのどれについても、弱いところが一行も書いていなかった。瀬尾は、汀の表の「未検証」の一行を思い出した。

その週のうちに、瀬尾と森は、3社の提案に使われている基盤のモデルについて、提供元が出している一次情報を一つずつ当たった。料金表、利用規約とデータの取り扱い、それにモデルカードと呼ばれる、モデルの説明資料である。

「知識の時点が一年以上前ってことは、今年変わった旅費規程は知らないんだ」

「知らないことは、文書を探して渡すしかありません。検索の出来で選ぶ理由が、一つ増えました。それと、想定していない用途のところは、規程の解釈を聞かれたときの答え方に関わります。法的な助言として使う作りには、しないほうがいいです」

六月中旬 第二会議室

瀬尾は、3枚の表に載っていなかった4つの項目を、3社に同じ文面で照会した。答えは、比較表よりもはっきり分かれた。

情報システム課の係長で、推進室を兼務する倉田誠が、2行目を指で叩いた。瀬尾の同期である。

「月末の締めで全社が一斉に聞いたら、上限に当たるかもしれない。『問題になることはございません』じゃ、計算ができないんだよ」

費用の見積もりも、並べると桁がそろわなかった。汀はアストラムのおよそ10分の1、クラウゼルはアストラムのおよそ10倍だった。

「汀が安すぎて、クラウゼルが高すぎるってこと?」

「桁が一つ違うときは、安い高いの話じゃない。数えてる件数か、入ってる作業が違うんだ」

森が、3社の見積もりの前提を読み比べた。汀は手順書だけを対象に、使う人を第一工場と品質保証課のおよそ100人で見ていた。アストラムは、全社員が一日に数回使う前提だった。クラウゼルには、申請を代行するエージェントの構築と、処理の能力を専用に確保する契約までが入っていた。

「同じものの値段じゃありません。前提をそろえて、うちで計算し直します」

営業部長の間宮の名前で届いたアストラムの回答書には、もう一つ気になる行があった。

総務課で契約と規程を受け持つ主任の戸田美和が、そのモデルのライセンスを印刷して読み上げた。

「『利用者が一定の数を超える場合は、別途の許諾を要する』。『本モデルの出力を、他のモデルの学習に用いてはならない』。……追加で学習させたモデルを配っていいかは、ここ、書いてないですね」

「正確にはオープンウェイトです。学習済みの重みが公開されているだけで、学習に使ったデータも手順も出ていません。それに利用料がかからなくても、動かす計算機と、動かし続ける人の手間は、うちの持ち出しです」

その日の夕方、アストラムの技術者から電話があった。

「回答書の書き方が正確ではありませんでした。ライセンスに条件がありますので、お選びになる場合は、御社で条文をご確認ください」

六月下旬 情報システム課

最後に、瀬尾は3社に同じ依頼を出した。当社の質問100件で、試させていただけますか。3社とも断らずに、試用の環境を用意してくれた。

100件は森が選んだ。カスタマーサポート課の過去の問い合わせから60件、社員が総務課と情報システム課に聞いてきた規程と手順の質問から40件。表の入った製品仕様書を引かなければ答えられないものも、実際の割合で混ぜた。1件ごとに答えに入っていなければならないことを書き、出典が正しい文書を指しているかも見る。形が崩れたり出典が抜けたりしたら、使う人がそうするように、もう一度実行する。上限は3回とした。

森は実行のたびに、送った量と返ってきた量をトークンで記録し、日付・モデル・プラン・検討量の設定も残した。

「いちばん安い単価が、いちばん高くなったの?」

「1回ごとは安いんです。でも2回、3回と実行し直すと、そのたびに課金されます。比べるなら、1件が終わるまでの費用です。月の見込み件数を掛けて、試験と再試行の分を3割足した月額でも、順番は変わりません」

「実行し直すのは、画面の前の社員だ。その待ち時間は、どの見積もりにも入ってない」

上位と中位のモデルの差は、100件のうち3件だった。どれも、条件が入り組んだ仕様書の質問だった。問い合わせを担当部署に振り分けたり、急ぎかどうかの目安をつけたりする定型の質問では、小さいモデルに替えても結果はほとんど変わらなかった。

「上位を選ぶってことは、その3件のために、ほかの97件にも高い単価を払うってことだ。3件は、出典を見て人が確かめればいい」

瀬尾は、汀システムの技術営業の岸本優に電話をかけた。昨年度から、カスタマーサポート課の回答案を一緒に作ってきた相手である。

「CS課の回答案でも、振り分けみたいな定型のところは、小さいモデルに回せないでしょうか」

「試す価値はあります。ただ、御社の問い合わせで確かめてからにさせてください。それと今回の100件、表の入った仕様書は、やはり見落としが出ました。表のところは、うちの構成ではまだお約束できません」

クラウゼルの営業部長の黒江翔からも、結果を送った翌日に電話があった。全社員が使う社内チャット「コネクトAIアシスト」の提供元である。

「弊社の標準設定での結果かと存じます。本番では、朝凪様に合わせて調整いたしますので」

「調整したあとの結果を、同じ100件で見せていただけますか。調整の作業が見積もりのどこに入っているかも、あわせて伺いたいです」

月末までに、調整後の結果は届かなかった。

六月三十日 常務室

瀬尾は、選定の結論を一枚にまとめて大槻に出した。

「クラウゼルは外すのか。独自のモデルだぞ。全社のチャットは、あそこに頼んでるんだ」

「コネクトAIアシストの契約は、そのまま続きます。今回決めるのは、社内文書の検索です。クラウゼルさんの構成は、単価はいちばん安かったのですが、実行し直しが多くて、1件が終わるまでの費用はいちばん高くなりました。版も固定できません」

「汀は。去年からの付き合いだろう」

「岸本さんは、表の入った仕様書は未検証だと、最初からご自分で書いていました。100件でも、そこで見落としが出ました。CS課の回答案は、これまでどおり汀さんにお願いします」

大槻は、ランキング記事の紙を手に取り、掲載日のところで目を止めた。

「一年半前か。……黒江さんには、俺から伝える。外した理由を数字で言えるのは、ありがたい」

部屋を出ると、倉田が廊下で待っていた。

「3社とも、嘘は書いてなかったな。1位なのも、最安なのも、たぶん本当だ。書いてないことが多かっただけで」

「うん。余白のほうに、うちの話が全部あった」

瀬尾は手帳に書いた。「比較表は、余白から読む。載っていない項目は照会し、残りは自社の100件で埋める」