比較表は、作った側の設計を反映する
比較表を見せられて、自社に合う候補が一目で分かったと感じたなら、いったん止まってください。どの指標を並べ、どれを外すかは、表を作った側が決めています。
前提として、比較表を作る側が自社に有利な指標を選ぶのは自然なことです。問題は、受け取る側がその設計を認識せずに読む場合です。比較表は「比較の結果」ではなく「比較の設計」を見る資料として読むと、情報として使えます。
型1 ― 恣意的な指標選択
比較表で最もよく見られる操作です。自社が優位な指標だけを並べ、不利な指標を含めません。
確認のしかたは、載っている指標ではなく載っていない指標を見ることです。AIサービスの選定で本来必要な指標を並べます(表の第3章)。
| 指標 | 省かれやすさ | 省かれると起きること |
|---|---|---|
| 精度(自社データでの実測) | 高い(公開スコアで代替される) | 自社での再現性が不明 |
| 応答時間 | 中 | 対話型で使えないことが後で判明 |
| 1件あたりの費用(実測) | 高い(単価表で代替される) | 再実行を含めた総額が見えない |
| データの学習利用の有無 | 高い | 機密情報の扱いが確認されない |
| データの保存場所と期間 | 高い | 規制・契約上の制約が後で判明 |
| レート制限 | 高い | ピーク時に処理が完了しない |
| バージョン固定の可否 | 非常に高い | 更新で出力が変わるリスクを常に負う |
| 移行のしやすさ | 非常に高い | 依存が深まってから気づく |
| サポートの応答実績 | 中 | 障害時に連絡が取れない |
下2行は、ほぼ確実に比較表に載りません。載らない指標こそ、稼働後に効いてくる項目です(第10章)。
型2 ― ベンチマークの見せ方
公開されている性能指標の提示には、いくつかの操作の余地があります。
- 比較対象の世代 ― 自社の最新モデルを、他社の旧世代と並べる。
- 測定条件の非開示 ― どの設定で測ったかが示されない。生成の設定や検討量によって結果は変わります。
- 有利なベンチマークの選択 ― 多数あるベンチマークのうち、自社が上位のものだけを示す。
- 時点の非開示 ― いつ測ったかが示されない。この領域では数か月で順位が変わります。
- 自社業務との距離 ― ベンチマークの課題が自社の業務と一致するかは、そもそも比較表では示せません。
ベンチマークの数値を根拠に選定を促された場合、「同じ処理を、当社のデータ100件で試させてもらえますか」と依頼してください。この依頼は選定の正当な手順であり、断られる理由は通常ありません。断られた場合、それ自体が判断材料になります。試した結果が公開スコアの順位と一致しないことは実際に起こります(表の第1章)。
型3 ― オープンソースとオープンウェイトの混同
この2語は意味が違います(表の第3章)。重みが公開されていることと、自由に使えることは別です。
混同が問題になる場面を挙げます。
- 「オープンソースなので費用がかかりません」 ― モデル自体の利用料は不要でも、動かす計算資源の費用と運用工数が発生します。
- 「オープンソースなので自由に使えます」 ― ライセンスに商用利用の条件、再配布の制限、用途の制限が付いている場合があります。
- 「オープンソースなのでロックインがありません」 ― 特定のモデルに合わせた調整を行えば、移行の費用は発生します(第10章)。
確認は次の3問です。いずれも法務の確認事項であり、技術部門だけで判断しないでください。
- ライセンスに商用利用の条件・制限があるか
- 追加学習したモデルの配布・利用に条件があるか
- 出力の利用に制限があるか(他のモデルの学習への利用など)
型4 ― 料金体系を複雑にして総額を見えにくくする
AIサービスの料金は、複数の要素の組み合わせになります。この構造自体は正当ですが、比較を困難にする効果があります。
| 要因 | 内容 | 確認のしかた |
|---|---|---|
| 入力と出力の単価差 | 出力の単価が高く設定される | 実際の入出力比で計算する |
| 推論モデルの内部検討分 | 見えない部分が課金対象になる | 実測して1件あたりを出す |
| 再実行と失敗分 | 見積もりに含まれない | 1.2〜1.5倍で見込む |
| 付随サービスの費用 | 検索基盤、保存領域、監視が別料金 | 構成全体の内訳を求める |
| 最低利用料・年間契約 | 使わなくても発生する | 契約条件を確認する |
| 初期構築費用 | 単価比較では見えない | 3年間の総額で比較する |
| 保守・運用費用 | 稼働後に別途発生する | 発注時に見積もる |
対処は1つです。単価ではなく「1件の業務が完了するまでの総費用」で比較してください。そして比較の期間は3年間で揃えます。この形にすれば、料金体系の複雑さは比較の障害になりません(表の第9章)。
型5 ― 「無料で始められる」の後段
試用が無料または低額で始められることは、実際に利点です。しかし次の点を確認しておく必要があります。
- 無料プランでのデータの扱い ― 有料プランと条件が異なる場合があります。業務データを無料プランで試すと、機密情報の扱いが想定と違う可能性があります。
- 試用時と本番の構成の差 ― 試用では小さなデータ、単一の利用者、単純な設定で動きます。本番の条件で動くかは別です。
- 移行の費用 ― 試用で作った設定・プロンプト・参照データが本番構成に持ち越せるか。
- 価格改定の条件 ― 導入後の値上げの通知期間と、その際の解約可否(表の網羅版 第17章「ベンダー・契約管理」)。
試用は有効な手段です。ただし試用で確認できるのは「原理的に動くか」までであり、費用と運用の判断材料にはならないという区別が必要です。
六月三日、社内ナレッジ検索のコンペに呼んだ3社の回答書に、頼んでいない比較表が1枚ずつ付いてきました。3枚とも自社がいちばん上です。AI推進室の瀬尾は、どの表にも載っていない版の固定・レート制限・データの学習利用・止まったときの約束(SLA)の4項目を、3社に同じ文面で照会しました。版の固定とレート制限では、値と条件を示した会社と、「常に最新」「問題になることはございません」と答えた会社に分かれます。さらに情報システム課の森が当社の質問100件で試すと、単価が最も安い構成は実行し直しが重なり、1件完了までの費用で最も高くなりました。六月三十日の結論には、比較表と記事の順位は使っていないと書きました。比較表に並んだ項目ではなく、載っていなかった項目と実測が選定を決めました。
この場面は網羅物語之巻 第3章「比較表の余白」に出てきます。
比較表を情報として使う方法
比較表を否定する必要はありません。読み方を変えれば有用な資料になります。
- 載っている指標から、作った側が強調したい点を読む ― これは有用な情報です。
- 載っていない指標を一覧化する ― 前掲の表と突き合わせ、欠けている項目を照会します。
- 自社の要件と照らす ― 自社にとって重要な指標が載っていない場合、比較表は判断材料になりません。
- 実測で埋める ― 精度と費用は自社データで測ります。これが選定の中心工程です。
- 契約条件を別途確認する ― 比較表ではなく規約の原文で確認します(表の第17章)。
この5段階を踏むと、比較表の作成者が想定した結論とは違う結論になることがあります。それが正常な選定の姿です。