投資判断が難しい理由

AI関連の投資判断が難しいのは、効果の不確実性が高いからではありません。効果を測る基準が着手前に決まっていないことが多いからです。

通常のシステム投資であれば、削減できる作業時間や置き換えられる外注費が事前に見積もれます。AIの場合、精度が事前に確定しないため「やってみないと分からない」という説明が通り、それが効果測定の設計を後回しにする理由になります。

本章では、この構造への対処を扱います。核心は単純です。不確実なのは効果の大きさであって、測る基準は着手前に決められる。

ROI測定の考え方

何を「効果」として数えるか

AI導入の効果は4種類に分かれます。混ぜて語ると測れなくなるため、分けて扱います。

効果の4分類と測り方
種類内容測り方注意点
時間削減作業時間の短縮対象業務の処理時間×件数確認作業を含めた合計で測る
品質向上誤りの減少、見落としの減少誤り件数、手戻り件数導入前の件数を測っていないと比較できない
機会獲得対応件数の増加、対応速度の向上処理可能件数、応答までの時間需要側の制約があると効果が出ない
リスク低減コンプライアンス違反や事故の予防発生確率×影響額の推定推定に幅が出るため、幅で示す

実務で最も多い誤りは、時間削減をAIの処理時間だけで測ることです。AIが5秒で下書きを作っても、確認と修正に10分かかるなら、効果は確認工程の設計で決まります。

費用側に含めるもの

費用は、利用料だけではありません。次を含めて計算します。

  • API利用料または月額(第3章の見積もり手順)
  • 開発・組み込みの工数(社内工数も金額換算する)
  • データ整備の工数(第6章。最も見積もり漏れが起きる項目)
  • 検証の工数(検証セットの作成、比較試験)
  • 教育と周知の工数
  • 稼働後の運用工数(監視、例外処理、モデル更新時の再検証)
  • 保守費用(外部委託の場合)

初期費用だけで判断すると、稼働後の運用工数が計上されません。3年間の総額で比較するのが現実的な期間の取り方です。

KPIとKGIの設計

指標は「最終的に達成したいこと(KGI)」と「そこに至る過程の指標(KPI)」に分けます。AI案件では、この対応関係が崩れやすいので注意が必要です。

指標設計の例(請求書処理の自動化)
区分指標備考
KGI請求書1件あたりの処理時間(確認含む)を50%削減最終的に達成したいこと
KPI自動処理できた件数の割合(対象範囲)ここが低ければ削減効果は出ない
KPI人が修正した項目の割合確認工数を決める
KPI1件あたりのAPI費用件数増加時の見通しに使う
KPI処理が完了しなかった件数受け皿の負荷を示す
参考利用者の負担感(定期調査)数値に出ない不一致を拾う

設計の原則を2つ挙げます。

1つ目。KPIには必ず「対象範囲の割合」を入れる。精度だけを見ると、全体の3割しか処理していない状態でも「精度92%」と報告できます。範囲と精度は常にセットで扱います。

2つ目。着手前に導入前の数値を実測する。これがないと、後から効果を示せません。「導入前の処理時間を測っていなかった」という理由で効果が証明できない案件は、実際に多く発生します。

予算計画と投資判断のプロセス

AI案件特有の予算上の性質が3つあります。

  1. 変動費の比重が高い ― 従量課金では使用量に比例します。予算枠を決めるだけでなく、上限管理の仕組みが必要です(第4章)。
  2. 初期費用が小さく見える ― 試作が安く作れるため、着手の敷居が低い。その結果、本番化の費用が別途必要になることが後で判明します。
  3. 費用が下がる可能性がある ― モデルの単価は下がる傾向にあります。長期契約より、切り替えの余地を残すほうが有利な場合があります(第10章)。

実務的な進め方として、予算を2段階で承認する形が機能します。第1段階は検証のための小額(データ調査と比較試験まで)、第2段階は本番化のための本予算です。第1段階の結果を持って第2段階を判断すれば、「やってみないと分からない」問題が構造的に解決します。

ベンダー選定基準の作り方

選定基準は、提案を受ける前に作ります。提案を見てから基準を作ると、提案内容に合わせた基準になります。

基準に入れる項目

ベンダー選定の評価項目
区分確認すること
実現性自社データのサンプルでの実測結果(第3章)。提案時のデモではなく実データでの結果
実績自社で実装したものか。本番稼働か。稼働から何か月経っているか
体制実際に作業する者は誰か。再委託の有無と範囲
費用3年間の総額。初期・運用・保守の内訳
契約条件データの取り扱い、知財の帰属、責任範囲、SLA(第17章)
継続性サービス終了・仕様変更時の措置。移行の可否(第10章)
納品物設計資料と運用手順書が含まれるか
受け入れ条件件数で定義されているか(「正常に動作すること」では判定できない)

最後の2項目が抜けている選定が非常に多いです。納品物に設計資料と運用手順書が含まれないと、以後の変更を自社で行えません。そして受け入れ条件が定義されていないと、完了の判断ができません。

PoCから本番化への意思決定

PoCが本番に進まない問題は、判断の設計で解決できます。着手前に決めることと、報告時に出すことを分けます。

着手前に決める4項目

  1. 比較対象の数値 ― 現状の処理時間・誤り件数を実測する。
  2. 成功と判定する基準 ― どの指標がどこまで動けば進むのか。
  3. 判定の期限と会議の日付 ― 日付を先に押さえる。
  4. 中止する条件 ― どうなったら止めるのか。

4番目が最も重要です。中止条件が書かれていないPoCは止まりません。中止の判断が誰かの評価に結びつくためです。着手前に「対象範囲が○割に届かない場合は中止」と書いておけば、判断は個人の責任ではなく計画の実行になります。

報告時に必ず出す3項目

  1. 対象範囲の割合と、対象外だった理由
  2. 人の確認を含めた所要時間の変化
  3. 本番化までの残作業と工数(権限・監視・例外処理・費用上限・保守・教育)

3番目が報告に含まれていれば、本番化の判断は具体的な工数の議論になります。含まれていなければ、「技術的には可能」という結論で終わります。

現場のシーン架空の例

朝凪精機では、一年目の三月までの3年間に5件のAI関連のPoCを実施しましたが、本番化したものはありませんでした。情報システム課の倉田係長が5冊の報告書を並べると、結論はどれも「技術的には実現可能」で、権限・監視・例外の受け皿・費用の上限・保守といった本番化に必要な残作業の見積もりは、どこにも書かれていませんでした。二年目にAI推進室ができてからは、推進室の報告書に「本番化までの残作業と工数」の欄を置きました。欄があれば、埋めるために誰かが測ります。十月、取締役会で効果の数字の出どころを問われた日に、倉田が引き合いに出したのもこの変更でした。変えたのは技術ではなく報告書式でした。

プロジェクト体制とステークホルダー管理

AI案件で特に注意が必要な体制上の論点を挙げます。

  • 受け入れ判断者を明確にする ― 誰が完了を判定するのか。業務側の責任者が担うべきです。
  • データ提供の責任者を置く ― データの取り出しと定義の確認は、情報システム部門と業務部門の両方に関わります。窓口を決めます。
  • 現場の代表を体制に入れる ― 例外の情報は現場にしかありません(第7章)。
  • 法務・情報セキュリティの確認時点を工程に入れる ― 完成後に確認すると手戻りが大きくなります。

とくに最後の項目は工程表の作り方に関わります。データの取り扱い条件と権限設計の確認は、開発の前に行うのが正しい順序です。

失敗プロジェクトに共通する要因

後から振り返って共通して挙がる要因を整理します。

失敗の要因と、着手前に確認できたこと
結果として起きたこと着手前に確認できたこと
データが足りず精度が出なかった期間・粒度・連続性の確認(第6章)
効果を証明できなかった導入前の数値の実測
現場が使わなかった確認を含めた所要時間の試算、現場の参加
費用が想定を超えた実測トークン数からの計算、再試行分の見込み
完了の判断ができなかった受け入れ条件の件数による定義
稼働後に変更できなかった納品物に設計資料と運用手順書を含める
権限設計の不備で公開後に修正開発前の権限設計とセキュリティ確認
PoCが繰り返され前に進まなかった中止条件と判定期限の設定

右の列を見ると分かるとおり、いずれも着手前に確認可能な項目です。失敗の主要な要因は技術的な不確実性ではなく、確認の省略に集中しています。

自社開発・外部調達・パートナー協業の判断

作るか買うか組むかの判断枠組みです。次の4つの問いで整理できます。

  1. この処理は自社の競争力に直結するか ― 直結するなら自社に知見を残す形を選びます。
  2. 市販の製品で要件を満たせるか ― 満たせるなら調達が最も安い。カスタマイズが多いなら判断が変わります。
  3. 維持できる体制があるか ― 自社開発では、変更・復旧ができる人が継続的に必要です(第10章)。
  4. データを外に出せるか ― 出せない場合、選択肢が絞られます。
判断の目安
状況適した形
汎用的な業務(経費、勤怠、問い合わせ)市販製品の調達。作る理由がない
自社固有の業務ロジックが中心自社開発。ただし保守体制の確保が前提
専門性が高く、社内に知見がないパートナー協業。知見の移転を契約に含める
データを外に出せない自社環境での構築。オープンウェイトのモデル検討(第3章)
試行段階で方向が固まっていない市販製品で小さく試す。作り込みは後回し

最後の行が実務では重要です。要件が固まっていない段階での自社開発は、作り直しの費用が最も高くつきます。市販の製品で試して要件を固め、必要になった部分だけ作るという順序が、総額では有利になることが多いです。