技術の話が確認を封じる道具になるとき
技術の説明が長いほど信頼できる、とは限りません。分類や仕組みの用語は、理解を助ける道具にもなりますが、確認を諦めさせる煙幕にもなります。ここで扱うのは後者の使われ方です。
前提として、技術的な説明そのものは必要です。問題になるのは、説明の詳しさが確認を避けるために使われる場合です。見分ける基準は1つで、質問に対して「より詳しい技術の話」が返ってくるか、「確認可能な事実」が返ってくるかです。
型1 ― 言葉をあえて混同する
「AI」「生成AI」「機械学習」「深層学習」は入れ子の関係にあり、指す範囲が違います(表の第1章)。この違いを曖昧にしたまま説明すると、次のような効果が生じます。
- 実績の水準を上げて見せる ― 需要予測(予測系)の導入実績を、生成AIの実績として語る。技術的にはどちらもAIですが、必要な知見はほとんど重なりません。
- リスクの水準を下げて見せる ― 生成AIを使う仕組みについて、「機械学習は以前から使われている技術です」と説明する。出力の非決定性やハルシネーションの論点が視界から外れます。
- 逆にリスクを上げて見せる ― 単純な分類処理について「AIなので誤りが避けられません」と説明し、必要な精度検証を省く根拠にする。
確認のしかた
専門知識は不要です。次の1問で足ります。
「この処理は、文章や画像を新しく作るものですか。それとも与えたものを判定・予測するものですか」
この区別ができると、精度の測り方と出力の再現性が決まります。誠実な相手であればすぐに答えられます。答えが曖昧な場合、その提案は処理の性質を特定していません。
型2 ― モデルの規模を根拠なく強調する
パラメータ数や学習データの規模は、条件を揃えなければ比較の根拠になりません(表の第1章)。それにもかかわらず、規模の数値が優位性の説明として提示されることがあります。
現れ方は3つです。
- 世代をまたいだ比較 ― 自社が扱うモデルの規模を、他社の旧世代モデルと並べる。
- 単位の異なる比較 ― 学習データの量、パラメータ数、対応言語数など、異なる指標を混ぜて総合的な優位を示す。
- 用途と無関係な規模の強調 ― 定型的な分類処理に対して、大規模モデルであることを利点として説明する。実際には費用と応答時間の面で不利になり得ます。
規模の数値を根拠に優位を説明された場合、「比較しているのは同じ世代・同じ系列のモデルですか」と確認してください。加えて「この処理に、その規模は必要ですか」と聞きます。定型的な処理では、小さいモデルのほうが速く安く、精度も十分な場合があります。規模の強調が用途の検討を飛ばしている場合、費用が過大になります。
型3 ― 「うちのAIは特別」という差別化トーク
独自性の主張には、確認可能なものと、確認できないものがあります。区別すると、判断が具体的になります。
| 主張 | 確認のしかた | 確認できるか |
|---|---|---|
| 自社データで追加学習している | 学習データの範囲、更新頻度、評価結果を聞く | できる |
| 業界固有の用語に対応している | 自社の文書サンプルで実際に試す | できる |
| 独自の前処理・後処理を持つ | 処理の内容と、それによる差を示す評価結果を聞く | できる |
| 独自のアルゴリズムを使っている | 自社データでの結果を他候補と比較する | 結果だけ確認できる |
| 「独自のノウハウがある」 | ― | できない |
| 「一般のAIとは仕組みが違う」 | ― | できない |
下2行のような説明を受けた場合、仕組みの説明を求めるのではなく、自社データでの結果を求めてください。独自性が本当にあるなら結果に現れます。現れなければ、独自性の有無は業務判断には影響しません。
この確認手順には副次的な利点があります。仕組みを議論すると相手の専門性に依存しますが、結果を比較する話にすれば判断の主導権が自社に戻ります(表の第3章の選定手順)。
型4 ― クラウドとローカルの違いを曖昧にする
データがどこで処理されるかは、機密情報の扱いに直結します。この点が曖昧なまま説明されるパターンがあります。
- 「お客様のデータは安全に管理されます」 ― 保存場所、保存期間、学習利用の有無、再委託先が示されていません。
- 「オンプレミスにも対応しています」 ― 対応の範囲(全機能か一部か)、その場合に使えるモデルの規模、費用の差が示されていません。
- 「国内のデータセンターで処理します」 ― そのサービスが他社のモデルを再提供している構成では、上流での処理場所が別になる場合があります(第10章)。
確認すべき項目は表の網羅版 第17章「ベンダー・契約管理」に一覧があります。技術の質問ではなく契約の質問なので、提案の段階で聞いても失礼になりません。
型5 ― 複合構成を単体の性能として語る
市販のAIサービスの多くは複数の部品の組み合わせです(表の第1章)。この構成が示されないと、性能の帰属が判断できません。
具体的には、次の問題が生じます。
- 精度の原因が分からない ― 良い結果が出たとき、それがモデルの性能か、前処理の工夫か、参照データの整備によるものかが分かりません。自社に適用したときの再現性が判断できません。
- 誤りの原因が切り分けられない ― 稼働後に精度が出ない場合、どの部品を改善すべきかが分かりません。
- 費用の内訳が見えない ― どの部品にどれだけかかっているかが分からないため、最適化の余地が判断できません。
確認は「この処理は、どういう工程で結果を出していますか」で足ります。工程を説明できない提案は、その構成を把握していない可能性があります。
五月十二日の社内ナレッジ検索のコンペで、クラウゼル・テクノロジーズの黒江は朝凪専用の独自モデルを提案し、どこが独自かを聞かれると「弊社独自の学習ノウハウ」、結論を求められると「他社にはまねのできない精度が出る」と答えました。汀システムの岸本は、検索語を作る・文書を探す・AIに渡す・出典を付けて整える、の4つの箱を図にし、箱ごとにカスタマーサポート課の試行で測った割合を添えました。「未検証」の欄が一つだけあり、表の入った仕様書はまだ試していないと言います。その夕方、3社の言葉を部品に振り分けると、「独自」だけがどの箱にも入りませんでした。どの箱で誤ったか分からなければ、動かしたあとに直す場所も決まりません。選定の分かれ目に置くべきなのは精度の数値ではなく、稼働後に改善できる構成かどうかです。
この場面は網羅物語之巻 第2章「RAGと言われても」に出てきます。
この章の確認質問
技術の話で確認が進まなくなったときに使う質問を並べます。いずれも専門知識を必要としません。
- 「この処理は生成ですか、判定・予測ですか」 ― 処理の性質を特定します。
- 「比較しているのは同じ世代・同じ系列のモデルですか」 ― 規模の主張を検証可能にします。
- 「この処理に、その規模は必要ですか」 ― 費用の過大を防ぎます。
- 「独自性について、自社データでの結果を見せてもらえますか」 ― 仕組みの議論を結果の議論に変えます。
- 「データはどこに保存され、学習に使われますか」 ― 契約の質問として聞きます。
- 「どういう工程で結果を出していますか」 ― 構成を確認し、改善可能性を判断します。
これらに対して、より詳しい技術用語で応答が返ってくる場合は、質問を繰り返してください。誠実な相手であれば、専門用語を使わずに答えられます。答えられない場合でも「確認して回答します」と言えます。