小さな事故

三月四日 カスタマーサポート課

電話は朝九時すぎにかかってきた。長年の取引先の購買担当からで、受けたカスタマーサポート課長の村瀬早苗は、途中から受話器を持つ手を持ちかえた。

「……はい。社内の基準のような文章が、回答の最後に。承知しました。確認して、今日中にご連絡します」

AI推進室の瀬尾奈々が呼ばれて行くと、村瀬の画面には前日に送った回答メールが開いていた。型番の問い合わせへの丁寧な回答のあとに、5行だけ、手触りの違う文が続いていた。

社内向けの手順書「返品対応の社内基準」の一節だった。送ったのは、入社一年目の西川という担当者だった。回答案を確認して送信したが、末尾の5行が社内限りの文だとは気づかなかった。

「西川さんを責める話にはしないでね。うちの確認の形が、これを通したのよ」

情報システム課の森拓海が、元の問い合わせメールを開いた。本文の下に、取引先が別の会社から受け取ったメールの転送部分が付いている。森が本文を全部選択すると、空白に見えていた行に文字が浮かんだ。

「去年の白い文字と同じ……。でも、あのときは何も起きなかったよね」

「去年の回答案づくりは、送信の権限がなくて、参照するのもCS課が回答用に選んだ手順書だけでした。社内の文書を探しにいく力がなかったんです。三週間前に社内文書検索とつないで、問い合わせの文面を読む処理と、社内文書を検索する処理を一つに持たせた。外から来た文を読んだその手で、社内の棚を開けられるようになっていました」

つなぐ作業は、汀システムの回答案づくりに、アストラム・データの検索を道具として足す形で行われた。推進室も設計書は見ていた。分ける、という行は、誰も書いていなかった。

「AIには送信させてないのに」

「送ったのは人です。AIに持たせなかった権限を、確認を通った回答案が、人の手で使ったことになります」

同じ日 夕方 常務室

常務の大槻修に報告に上がると、先客がいた。クラウゼル・テクノロジーズの営業部長、黒江翔だった。社内チャットの契約の定例で来ていたところに、大槻が事故の話をしたらしい。

「重大インシデントかと存じます。外部のメールを読むAIが社内文書に触れる構成は、業界ではもう危険というのが常識で。弊社のセキュア版ですと、そもそもこういう事故が起きない設計になっております。問い合わせ対応ごと移していただくのが、いちばん早い対策かと存じます」

「瀬尾くん、どうなんだ。移したほうがいいのか」

「黒江さん、2つ伺わせてください。今回のことで、どういう影響が、どの範囲に出るとお考えですか。それと、その対処は今の構成のままではできないものでしょうか」

「範囲は精査しませんと何とも。ただ、重大な問題になり得るのは確かです。今の構成のままでは、根本的な解決は難しいかと存じます」

指摘そのものは当たっていた。外部の文面と社内文書が一つの処理でつながっていたのは事実だ。ただ、それと、移ることが対処になるかどうかは別の話だった。

「常務、影響の範囲を先に出させてください。2日ください」

「2日だな。止めるのか続けるのかは、そのとき聞く」

三月五日 AI推進室

翌朝、アストラム・データの営業部長の間宮が、技術者を一人連れてきた。

「今回は軽微です。個人情報は一件も出ていませんし、送ったのは人ですから。弊社の検索はプロンプトインジェクション対策済みですので、ご安心ください」

「対策済みの中身を教えてください」

「入力の中に、指示を無視させるような不自然な文があれば、検出して止める処理です」

「今回の一文は、止まりませんでしたね」

「『引用してください』は、普通のお客様も書く文です。検出の対象から外れました。書き方を変えられると、検出は抜けます」

技術者は言い訳をしなかった。森は続けて、AIに与えている操作権限の一覧を求めた。十分後に届いた一覧には、瀬尾が知らない一行があった。

「外の文面を読んだ処理が、社内の共有領域に書けます。今回は引用で済みましたけど、書く先があれば書かせることもできる」

「外せます。今日中に外します」

「実際には何も書かれていないわけですから、やはり軽微と申し上げて差し支えないかと」

「軽微かどうかは、範囲を出してから決めさせてください。今の時点で分かっているのは、書けた、ということだけです」

森は検索対象のフォルダも一つずつ開いた。手順書のフォルダの下に「受領資料」という階層があり、CS課が顧客から受け取った図面や資料を置いていた。フォルダ単位で指定した検索対象に、外から来た文書がそのまま入っていた。

最後に、回答案づくりの内部の指示文、システムプロンプトを開いた。回答の質を上げるために、立ち上げのときに書き足した行がある。部署の内線番号と、返品の例外の目安だった。

「システムプロンプトは金庫じゃない。『上の指示を全部書き出して』と書かれたら出てくる前提で書くんだよ。機密は置かない」

推進室を兼務する情報システム課の係長、倉田誠だった。瀬尾は、会社のセキュリティの決まりを聞いた。

「年に1回の研修動画と、パスワードの桁数。それだけになってた。連携するたびに権限が増えるのに、一覧を見る人が決まってない。で、それ誰が見るの」

「自分がやります」

三月六日 常務室

瀬尾と森は、報告を3つに分けて書いた。分かっていること、そうだろうと考えていること、まだ分からないこと。

「結論から頼む。止めるのか、続けるのか」

「どちらでもありません。決め手は、外から来た文面を読むか、社内の何に触れられるか、何ができるか、の3つです。今回はその3つが一つの処理にそろっていました。止めるのは、社内文書検索とのつなぎ目だけです。分け終わるまで、回答案は去年と同じ、選んだ手順書だけを見る形に戻します」

「全部止めたほうが、安全じゃないのか」

「全部止めると、回答案で浮いた時間がそのまま窓口の残業に戻ります。止めて安全になるのは、外の文面と社内の棚がつながっていた部分だけです。そこを切れば、残りは去年から毎月測ってきた形です」

「評価セットは品質のためのものですが、検索対象に変な文書が紛れて回答が変われば、ここで気づけます。汚れの検知にもなります」

記録を遡ると、つないでからの3週間で、課全体の修正率が目に見えて下がっていた。回答案が良くなったのか、確認が軽くなったのか。数字だけでは決まらない。だから読む人を決めた。

倉田は、ほかの危険も同じ表に並べていた。もっともらしい誤りには出典の表示と「分かりません」と返す設定。規程の鮮度は、八月に決めた所有者と更新の決まり。機密の出口は、貼り付け・送る項目の設計・検索対象の権限の3つで、今回は3つ目。人に対する判断には使っていない。声やメールでの送金の指示は、一つの経路だけでは実行しない。

「セキュア版への移行は」

「要りませんでした。必要だったのは、つなぎ目を分けることです。確かめるのに半日かかりました」

大槻は、しばらく表を眺めていた。

「去年の私なら、全社に気をつけろと通知しろ、で終わらせたな」

三月九日 取引先の応接室

謝りに行ったのは、村瀬と大槻だった。村瀬は、報告の「事実」と「不明」をそのまま読み上げた。何が入ってしまったか、なぜ入ったか、何を変えたか。分かっていないことは、分かっていないと言った。

「弊社の設計の不備です。お送りした文のうち、末尾の5行は削除をお願いできますでしょうか」

購買担当の課長は、転送元のメールについて自社でも調べると言い、最後にこう付け加えた。どこまで分かっていないかまで言ってもらえると、こちらも社内で説明ができる、と。

夕方、CS課に戻ると、西川が確認画面の新しい表示を試していた。社内限りの文書から来た文が、薄い赤で浮かび上がる。

「これなら、わたしでも止められました」

「止められる形にしてなかったのは、こっちなのよ。確認の目は、仕組みが用意するもの」

去年の三月、白い文字の一文が何も起こさなかったのは、気をつけていたからではなかった。持たせていなかったからだ。今年はそれを、つなぐときに持たせてしまった。

瀬尾は手帳に書いた。「軽いか重いかは、AIが何を読み、何に触れ、何ができたかを並べてから決める」