テストは本番で

七月二十四日 本番で様子を見ながら

受注入力の刷新は、予定より早く「動くもの」ができた。

「生成AIは出力が毎回変わりますので、事前の試験にはなじみません。本番で様子を見ながら調整してまいります。精度は、使っていただくほど上がります」

「それが今の標準ですよね。九月には稼働させたい」

新井には、九月の経営会議で「稼働しました」と言う予定があった。

「毎回変わるからこそ、1回動いたかではなく、何回やっても許容範囲に収まるかで確かめます。正解が1つでなくても、品番・数量・納期・届け先が全部入っているかは機械で数えられます。それと、使うほど上がるというのは、誰が何を足すんでしょうか」

「御社の現場の皆さまに、使いながら直していただく形で」

直すのは万年商事の現場で、上がった精度は青空システムの実績になる。水野は、試験のデータと期待する結果を万年商事が用意して渡すこと、それを流し直す仕組みを納品物に入れることを求めた。ベンダーが用意したデータでの試験は、自分の答案の自己採点になる。

「うちがデータを用意するなんて、聞いたことがない」

新井は、聞いたことのないことはしないことにしていた。三好は塩見を見送りながら「本番で直していくの、アジャイルっすよね」と言い、褒められて胸を張った。本番で直すとは、本番で間違えることだ。間違えた受注を受け取るのは取引先だった。

七月二十九日 誰も触っていないのに

「回答案の書き方が、先週から変わってるんです。『恐れ入りますが』が消えて、品番のハイフンの入れ方も違います」

「よく気づいたね」

「全部読んでから送ってるので。また何かあったら、今度こそ契約を切られます」

相原が1件ずつ読むのは、会社のためではなく自分を守るためだった。守るために読んでいる人だけが、変化に気づいた。社内で設定を変えた人はいない。アンシンテックの回答はこうだった。「上流の基盤モデルが七月二十二日に更新されました。上流事業者に起因する変更は、ご契約上、事前通知の対象外です。上位プランでは順次最適化いたします」。

同じ名前のまま中身が入れ替わり、止まったわけではないので、動いているかを見張る仕組みには何も映らない。増田は手直しが増えたことに気づいていて、報告しなかった。

「手直しが増えましたなんて報告したら、去年の3割まで疑われる。書き方が変わっても、気にせず直して送るように」

直した中身はどこにも記録されず、確かめたという印だけが毎日並んだ。

八月一日〜五日 200件で測り直す

水野は、五月に相原と作った200件を取り出した。1件ごとに、回答に入っていなければならない要素が書いてある。内田が、それを流して数える短いプログラムを書いた。

「品番は95%合ってます。そんなに悪くないですね」

「1件ずつ見て。全部そろって、直さずに送れるのは何件?」

136件だった。七月の頭は164件。水野は指示の文を1か所だけ変えた。「丁寧語で答えること」。151件に戻った。品番の書き方を指定すると158件。2つ同時に変えると、どちらが効いたか分からなくなる。1つずつ変えて、1つずつ測る。

内田の1本は、それだけで回帰の試験になった。これがなければ、品質が落ちたことに気づく手段は、取引先からの苦情だけになる。

八月六日 誰の仕事でもないもの

「このタイミングで悪い数字は困るなあ。今月、経営会議にダッシュボードを出すんだ」

「上流のモデルは通知なしに変わります。気づく方法は、決まった質問を毎月流すことしかありません」

「上位プランで直してくれるんだろう? 5年か。まあ、そのころには、みんないろいろ変わってるよ」

新井自身が、1年もしないうちにいなくなる予定だった。同じ日、持田の席には顧問の大川から電話があった。「情シスの若いのが騒いでいるらしいが、大ごとにしないようにな」。持田は「推進室のほうで、うまく収めます」と答えた。増田は新井に、手直しは派遣の貼り付け方のせいだと言った。貼り付けているのは仕組みだと、増田も知っていた。

動いているかどうかは、誰かが見ていた。答えが少しずつ悪くなっていることは、誰の仕事でもなかった。

八月八日 壁の図

水野は持田に3つ聞いた。今どれくらい使われているか。人が直している割合は。社内で直せる人は何人か。

「それは、アンシンテックさんのほうで把握されていると思うよ」

1年以上動いている仕組みで、1つも即答できない。実のところ、放っておかれているのだ。水野は新井の承認を待たず、お客様センターの中だけで2つを始めた。回答案の横に、何をどう直したかを書く欄を置く。直した中身は、そのまま200件に足していく。人が直した答えが、いちばん価値のあるデータだった。

「書いたら、何か変わるんですか。前に要望を出したとき、何も変わらなかったので」

「変わったら毎月ここに貼る。変わらなかったら、その理由も貼る」

200件の正しさと実際の手直しの割合を1枚の図にし、モデルが更新された日、指示を変えた日を印で書きこんだ。壁に貼られた図に、自分の直しが入ったのを見つけた担当が小さく笑い、書く人が少しずつ増えた。

「これ、上の人も見るのか」

「お客様センターの中だけです。今のところは」

増田は剥がさなかった。剥がせば、剥がしたことが残る。図は、経営会議の資料からは新井が外した。

「八月八日 回答案の口調が変わったことに最初に気づいたのは、派遣の相原さんだった。そのことは、どの報告書にも書かれない」