「配慮しています」が検証を伴わないとき
「公平性に配慮しています」という説明を受けたとき、そこから確認できるのは配慮の意思だけです。実際にどうだったかは、属性ごとに集計しなければ分かりません。
この型が生じる理由は、検証に手間がかかることに加えて、検証しなければ問題が見えないことにあります。属性ごとの集計を行わなければ偏りは発見されず、発見されなければ「問題はない」という状態が維持されます。
したがって本章の確認は、表明の内容ではなく検証の記録があるかに集中します。
型1 ― 委員会の設置を実態のない広報材料にする
倫理に関する委員会や体制の設置は、それ自体では機能を意味しません。表の第20章で述べたとおり、必要なのは4つの機能が誰かの責任になっていることです。
| 機能 | 内容 | 確認のしかた |
|---|---|---|
| 判定 | 高リスクの用途を判定する | 判定基準が文書化され、現場が自分で判定できるか |
| 検証確認 | 属性ごとの集計が行われたかを確認する | 検証結果の文書が実際に存在するか |
| 記録 | なぜ許可したか、どの条件を付けたか | 過去の判断の記録があるか |
| 停止権限 | 問題が起きたときに止める | 権限を持つ者が明記されているか、実績があるか |
表の第20章で示した実効性の指標を再掲します。最も端的なのは1問目です。
- 過去1年で、条件付き承認または不承認とした案件があるか
- 属性ごとの検証結果が、実際に文書として存在するか
- 停止の判断を行った実績があるか、または権限が明記されているか
- 判定の基準が文書化されており、現場が自分で判定できるか
すべての案件を承認している委員会は、判定を行っていない可能性があります。これは委員会を批判する指標ではなく、判定基準が機能しているかを見る指標です。基準が明確であれば、条件付き承認は自然に発生します。
型2 ― 検証をしないまま「配慮済み」と主張する
公平性についての主張が、検証の記録を伴わない型です。表の第20章で述べたとおり、偏りは出力を見ただけでは分かりません。
加えて、しばしば誤解されている点があります。属性を入力から除外すれば公平になる、というのは誤りです。居住地、出身校、勤務歴の空白期間といった相関する項目(代理変数)から間接的な影響が生じるため、除外だけでは足りません。
確認する内容
人に対する判断にAIを使う用途について、次の記録があるかを確認します。
- 属性ごとの結果の集計 ― 合格率、判定の分布、精度を属性別に出した記録。
- 差の評価 ― 差があった場合、業務上正当な理由で説明できるかの検討記録。
- 件数が少ない属性の確認 ― データが少ない属性では精度が低い可能性があります。
- 再検証の実施 ― 入力データの傾向が変わると偏りも変わります(表の網羅版 第24章「継続的な検証・改善サイクル」)。
1番目の記録がない場合、偏りがないことを確認していない状態です。「偏りはないと考えている」は確認ではありません。
「公平性に配慮した設計です」という説明を受けたときは、「属性ごとに結果を集計した記録を見せてもらえますか」と確認してください。加えて、「属性を入力から除外していること」を根拠にした説明には注意が必要です。代理変数からの影響は除外では防げません。この点を説明できる相手は、検証の必要性を理解しています。
型3 ― 説明可能性を「技術的に困難」で片付ける
「AIの判断は説明できない」という説明が、記録や出典表示を省く根拠として使われる型です。
表の第20章で整理したとおり、求められる説明には水準があります。
| 説明の対象 | 実現の難易度 | 省く根拠になるか |
|---|---|---|
| 使用の事実(この処理にAIを使っていること) | 容易(記録すれば足りる) | ならない |
| 入力と根拠(何を入力し、どの資料を参照したか) | 容易(ログと出典の表示) | ならない |
| 判断の主体(最終判断を誰が行ったか) | 容易(記録すれば足りる) | ならない |
| 判断の基準(どの要素を重視したか) | 用途による | 用途によって変わる |
| モデル内部の仕組み | 困難 | この項目のみ |
実務で求められることの多くは上3行で満たせます。内部の仕組みが説明できないことは、上3行を省く根拠にはなりません。この区別を示さない説明は、省略を正当化するために困難な水準の話に移していることになります。
型4 ― アクセシビリティを形だけ謳う
アクセシビリティへの配慮が、表明のみで実装を伴わない型です。表の第20章で示した設計上の原則は明確です。AIを使った機能を唯一の経路にしないこと。
確認する内容を挙げます。
- 音声インターフェースだけになっていないか ― テキスト入力の経路が残っているか。
- 自動応答だけになっていないか ― 人への連絡経路が残っているか。
- 処理中の状態が伝わるか ― 応答に時間がかかる場合、待ち時間の状態が分かるか。
- 生成した図表に代替テキストがあるか
- 出力が冗長・難解になっていないか
この原則には副次的な利点があります。AIを唯一の経路にしない設計は、障害時の代替手段としても機能します(表の網羅版 第10章「事業継続・ベンダー依存リスク管理」)。したがってアクセシビリティへの対応は、事業継続の対応と重なります。
型5 ― 子ども・未成年の保護を規約の記載で済ませる
「対象は成人です」と規約に記載することで、未成年の利用への配慮を省く型です。表の第20章で述べたとおり、規約の記載だけでは足りず、実態を前提に確認する必要があります。
確認する論点を挙げます。
- 年齢の確認方法があるか
- 個人情報の取得に関する保護者の同意の要件を検討したか
- 収集する情報の範囲が必要最小限か
- 年齢にふさわしくない出力の抑制と、その検証を行ったか
- 長時間の利用を促す設計になっていないか
- 出力が評価に直結する場合の説明可能性を確保しているか
教育分野では直接関わる論点です(表の網羅版 第5章「業種・業務別ユースケース」)。4番目については、抑制の実装だけでなくその検証の記録が確認の対象になります。
「公平性に配慮した設計です」。二年目の三月、朝凪精機の人事課に来た採用支援サービスの営業担当はそう説明しましたが、御社のデータでの集計は導入後に、という答えで、属性ごとの集計の記録は示されませんでした。情報システム課の森は、応募書類で行った集計と同じやり方を、すでに動いているCS課の回答案づくりにも当てます。この仕組みには、問い合わせに緊急度の目安を付ける機能がありました。営業所別に数えると、1つの営業所から転送されてくる問い合わせだけが、一貫して低く付いていました。その営業所は転送するときに丁寧な定型文を頭に付けていて、落ち着いた書き方が急ぎではないと読まれていたのです。集計を行うまで、この偏りは誰にも見えていませんでした。
この場面は網羅物語之巻 第15章「誰のための公平」に出てきます。
この章の確認質問
いずれも表明ではなく記録の存在を問う質問です。
- 「過去1年で、条件付き承認または不承認とした案件はありますか」 ― 判定が機能しているか。
- 「属性ごとに結果を集計した記録を見せてもらえますか」 ― 公平性の検証の有無。
- 「属性を入力から除外していることが根拠ですか」 ― 代理変数への理解の確認。
- 「使用の事実・入力と根拠・判断者は記録されていますか」 ― 説明可能性の実質。
- 「AIを使わない経路は残っていますか」 ― アクセシビリティと事業継続の両方。
- 「未成年が利用する可能性を前提に確認しましたか」
- 「不服がある場合の申し出の経路はありますか」 ― 問題の発見が早まります。
7番目は表の第20章でも挙げた項目です。結果に疑問を持った人が問い合わせる経路がないと、問題の発見が遅れます。この経路の有無は外形的に確認でき、実装も容易です。