オンライン開催：AIサービスに対するリスクベースアプローチ：リスクチェーンモデルと採用AI

はじめに

2021年7月25日に東京大学未来ビジョン研究センター主催で「AIサービスに対するリスクベースアプローチ：リスクチェーンモデルと採用AI」と題したオンラインイベントを開催しました。近年では工知能（AI）サービスや製品の社会実装が拡大する一方で、AIの信頼性や透明性に関する問題が課題となっております。各国・企業においてガイドライン策定やツール開発などの様々なアプローチが開発されています。しかしAIサービス毎に重要なリスクが異なる、AIモデルだけではリスクを十分に対応し続けることができない可能性があり、ユーザーを含む人間がリスク要因になる可能性があるなどの課題から各アプローチを十分に実践できていない状況があります。これらの課題を解決するために、東京大学の研究グループが開発したリスクチェーンモデル(RCModel）を本イベントでは紹介しました。採用AIを事例として、AIサービスや製品にとって重要なリスクは説明し、誰がそのリスクに責任を持つのか、どのようにしてリスク対策（ツールの選択等）を検討するのかをパネリストをお招きして考えました。

話題提供
「RCModelの紹介と事例の説明」－松本 敬史 氏
東京大学未来ビジョン研究センター客員研究員及びデロイトトーマツリスクサービスに所属する松本氏は、AIの開発から実装における一連のプロセスに潜む多様なリスクの繋がりに焦点を当てたリスクチェーンモデル（RC Model）という構想を基盤にした研究に取り組んでいて、本イベントでは採用ＡＩをケースとして取り上げてリスクチェーンモデルに関しての説明をいただきました。AI の利用において判断根拠のブラックボックス化や、データや環境の変化により以前と同様のパフォーマンスを発揮できない等のリスクが考えられます。リスクチェーンモデルは適切なAIの利用の促進のためにポリシーや原則を現場で実装させることを考えるきっかけになりました。

AIのリスクの抑制のためには様々な視点からリスクを認識してコントロールしていくことを検討しなければなりません。AIモデルの持つ潜在的な不確実性、AIを使用して行うサービスで発生するリスク等のテクニカルとノン・テクニカルな部分の双方にあるリスクをコントロールしていく必要があるでしょう。松本氏はリスクチェーンモデルには2つの目的があると言います。１つ目にAI サービスの重要なリスクが何かを明確にすることで、各組織がAIを利用する価値と目的を具体化し、その達成を阻む可能性のあるリスク要素をマッピングすることが求められます。2つ目に、具体化したリスクをAIモデルだけで継続して対応していくことは可能かということです。AIモデルは外的要因によりシステムの判断基準を適正から汚染されてしまい不公平な判断を下すシステムと気付かない内に変化してしまうごとがあります。モデルをトレーニングするためにデータに内在するバイアスや、データのフォーマットの変化やAI利用プロセスの更新等の実装環境の変化に伴って意図しないネガティブな結末が発生してしまうことがあります。以上の様に、AIの利用におけるリスクを包括的に考えていくアプローチをリスクチェーンモデルとしています。

リスクチェーンモデル(RCModel)の構造
RCモデルは3つの層で構成されて入れ、AIシステムの技術層、AIサービスのプロバイダー、そしてAIサービスのユーザーになります。AIの技術的側面とサービスの提供はAI活用におけるリスクを理解するうえで重要な視点になります。

AIモデルの技術的な観点として重要な要素は４つあります。それは十分な予測性能があり、汎化性能が確保されていて、ノイズへの耐久力が十分にあり、AIの判断した結果を理解することが出来るかが重視されます。さらにAIサービスを構築していくためには必要なデータは高い正確性とバイアスの排除が求められます。

サービスプロバイダーに求められていることは行動規範、AI 運用のオペレーション及びコミュニケーションの3つの要素で構成されています。行動規範はサービスの利用者を最優先に考え、公平性とプライバシーを確保し、必要な情報をユーザーに開示することが必要になります。また、サービスマネージメントの一環としてサービス提供者としての組織の拡張性・持続可能性、AIの不備に迅速に対応する能力、サービスの安全性の確保、サービスへのアクセス権の管理、そして第三者がAIを検証することが可能な体制作りが求められます。

パネルディスカッション
採用AIに関するパネルディスカッションは江間有紗教授と松本氏が進行しました。パネリストはリスクチェーンモデルを基礎に議論していくために、技術開発経験のある方、採用AIサービスの利用経験者、そしてリスクガバナンスの研究従事者といった専門的な知見を持った関係者をお招きして、多様な視点を大切にしながら議論しました。

松本氏から「R001適切な評価」～「R008新たな職種」に関する説明
ディスカッション前の導入として主要なリスク要素の説明が松本氏からありました。リスクチェーンモデルが大切にする価値・目的は4つあり、それらを実現するために16個のAI活用におけるリスクシナリオを想定しています。まず、今回提唱するフレームワークの価値と目的のサービス要件として「AIの予測性能を維持すること」、「AIサービスと利用者が正しく連携すること」、「ビジネス環境の変化への対応」、「倫理・コンプライアンスの遵守による企業の社会的責任の保持」の4つに定めています。

第一に予測性能の維持を実現していく上で想定されるリスクシナリオが主に4つあると考えています。採用する職種に合わせて適切な期待値を設定しないとAIが応募者の「R001適切な評価」を行うことができません。また、AIの予測性能が劣化していることに気付かずに採用レベルが低下していく「R002 予測性の維持」の難しさがあります。3つ目に、エントリーシート等を機械的に評価していく際に内容が同じでも句読点の位置で採点が異なってしまう「R003 ノイズの影響」が懸念されます。最後に、応募者の提出した情報に誤りがあるのに採用してしまう可能性があるという「R004 虚偽の申込」のリスクがあります。

AIのサービスと利用者の連携の間でも様々な潜在的なリスクが存在します。採用担当者が過度にAIへ信頼を置くことでAIモデルの下した誤った判断を見逃してしまう「R005 過度なAI依存」は懸念される問題点の一つです。さらに、AIの性能を向上させていくために新たなデータを使用してトレーニングさせますが、その際の教師データのラベリングミスによって発生する「R006 誤ったフィードバック」が発生する場合があります。

第三に、採用AIはビジネス環境の変化に対応して求める人材像を変化させて行く必要があります。人材トレンドが変わったにもかかわらず以前と同様の傾向の人材を優先的に推薦していると「R007 人材トレンドの変化」に順応することが出来ていないリスクがあります。また、AIが推薦モデルを構築するために必要な教師データが存在しない「R008新たな職種」に対してAIモデル適切な判断をすることは難しいでしょう。

AI・アナリティクス事業部シニアデータアナリストの本橋洋介氏からのコメント
システムの作り手として一番意識するリスクは「R007人材トレンドの変化」になります。AIは過去のデータを基に学習させることでモデルを構築していきますが、懸念材料としては採用状況の変化に適応することができない点があります。しかしながら先端志向に現在のトレンドを追従するAIを追求しても、これまでの会社の文化を引き継いだ人材を確保することが難しくなる可能性がある。また、最近の採用AIでのディープラーニングの利用に関連したリスクとしては、複雑な解析を通してある候補者が一方の候補者よりなぜアルゴリズムが好んだのか理解することはできないブラックボックス化という問題が挙げられます。

株式会社ファンリーシュ代表取締役の志水静香氏からのコメント
企業の人事を担当する立場からすると、松本氏から説明のあったR001～R0004（適切な評価・予測性能の維持・ノイズによる影響・虚偽の申告）のリスクが複合的に引き起こす問題の対処が重要だと認識しています。多数の応募者の中から適切な人材を選出する上で採用の効率性の向上とコストの削減においてAIの利用は有意義ですが、人事的な観点で見落としてはいけない視点がいくつかあります。

まず、AIに頼った採用方法だと候補者のラベリングを通して選定されていくため、大きく分けて3つの採用おける要素を適切に考慮することが難しくなる可能性があります。まず一つ目に、候補者の経験や能力を意味するコンピテンシーで採用において重視されます。2つ目に、組織的文脈において候補者が採用された場合に実務として行う内容にフィットしているかというジョブデスクリプションに沿う人材であるかが問われます。また、3つ目に最近の作用動向では特に候補者本人のモチベーション、パーソナリティや、将来のビジョンを気にする傾向にあります。以上の3つの観点において個人のユニークさを候補者の評価過程で優れた採用をするための適切にラベリングすることが出来るのかという懸念が残ります。

２つ目に、採用AIを活用している当事者に何人かインタビューをしてみたところ共通の問題意識を持っている点があり、それはAIが導き出した候補者の選定の結論のブラックボックス化です。アルゴリズムの判断基準を明確に理解できないと採用側としての説明責任を果たせない一方、一般の方がAIを活用した採用のプロセスを説明しても理解するのが難しい可能性があるとう問題点もあります。

東京大学未来ビジョン研究センター教授　城山英明氏からのコメント
本橋さんと清水さんからAIの懸念点を挙げられていましたが、採用においてAIが抱える課題と同様のものを人間が持っていることがあります。そのため、AI採用に相対的な不得意と得意を識別することが大切になると思います。

「R001適切な評価」という観点から考えると候補者に対する適切な期待を明確化することが重要ですが、AIに限らすリクルーターも適切を表現するクライテリアを言語化できていないかもしれません。採用は単に特定の職種だからと言って似たタイプの人たちを採るわけではなく、人材の中でもバラエティーを持たせることがあります。また、組織のDNAを継続させていくためには職務に適した人材というだけではなく、社の伝統を引き継げるような候補者を採用することを考える等の採用の背景にある言語化されないニュアンスがあります。このようなニュアンスは組織によって意識していることも異なるため明確化されているごとが少ないです。

松本氏から「R009コスト超過」～「R016プライバシー保護」に関する説明
採用AIを環境の変化に対応させるという目的達成を阻害するリスク要素は他にも存在します。AIシステムを導入することで会社としてコストの削減を目指していたのに、結果的にAIサービスを利用して人材レベルの維持と向上を行った方がコスト面に以前より負荷がかかるという「R009 コスト超過」になる場合もあります。ビジネス環境の変化だけではなく、採用は地域によって応募者の特徴は異なり採用の戦略を対応させていく必要があります。各地域によって個別のAIモデルを学習させないと「R010 地域社会への対応」が出来ないリスクがあります。また、ビジネスや実装環境に合わせて開発が求められるAIは開発体制に大きな負担をかけるため「R011不十分な開発スピード」になることもあります。

第四のリスクチェーンモデルの価値観として企業の社会的な責任の遵守がありますが、倫理やコンプライアンスが遵守されない懸念はあります。AIモデルがアルゴリズムに沿って機械的に応募者が提供する情報を評価するため、その特徴を逆手に取って採用に優位になるキーワード等を販売して不正に利益を得る「R012判断根拠情報の不正販売」されることが想定できます。また、国・地域・人種・性別・宗教等の特定の属性の所属する応募者に対して不公平な判断がされるAI「R013 公平性」の問題も懸念されます。さらに、採用選考でAIがした評価を入社後のキャリア形成の際に人事が本人の意図に反して使用される「R014 予測結果の目的以外利用」が行われてしまうリスクがあります。最後に、採用において収集された応募者の判断結果情報を社外に流出した場合は個人対する「R015 風評被害」が発生すること及び「R016 プライバシー保護」の侵害になる可能性があります。

本橋氏からのコメント
AIを作成する立場からしてみると、「R12 判断根拠情報の不正販売」や「R13 公平性」に関しては改善することが出来るのではないかと思っています。特に「R10 地域の会社への対応」という観点に関しては、地域によって組織は採用の戦略や候補者の傾向が異なることを考慮してAIモデルに学習させていことへのサポートを提供していくべきだと考えています。
AIは既存のデータの平均値に基づいた判断をするのが得意な一方、特殊性のある新しい系統のデータを処理することは苦手である印象があります。そのため候補者のダイバーシティに対応していくことは難しいでしょう。採用は単にAIの導き出した偏差値の高い人材を上から採っていくわけではなく、実際の現場では様々な観点から複合的な判断をして採用を決定している実状を再現することが作り手に現在要求されていると実感しています。

志水氏からのコメント
採用活動でAIを利用していく時に候補者が本人のデータを利用することに同意しているかという点が非常に気になります。候補者には採用の過程において、データがどのような意図で使用されて判断基準になっているかを明確にする必要があると考えています。AIに判断させるデータの管理をする人間側の行動が雑な時もあるためにデータのマネージメントの方針を策定することや、AIの判断も万能であるわけではないという前提に立って人間が判断結果を評価してフィードバックしていくことが重要になっていくと思います。多様性のあるAI採用を実現するためにも、特定の属性に所属する候補者が不利にならないようにモニタリングしていく必要があります。

城山教授からのコメント
「R13 公平性」を実現するためには、採用AIにも人事が似たようなタイプの候補者を複数選ぶわけではなく、様々な特色を持つ人を採用することをサポートできる機能を持つAIがあれば公平性の担保に貢献できると考えています。

採用AIのケース・ディスカッション

-「R001 適切な評価」のリスクチェーン検討
採用AIを適切な評価という観点から議論する際のシナリオの想定として、採用する職種ごとに適切な期待値を設定しなければ、AIの貢献を正しく評価することができないという前提のもとに議論を行いました。適切な評価を実現させるためには5つの観点が重要になります、1つ目に採用AIのサービス提供者はAccountabilityとして人事戦略に応じた職種ごとの適切な目標値を設定する必要があります。アルゴリズムの制度を高めて組織への貢献が確実な人材の採用をして、新しい分野での採用であれば予測精度を過度に期待しないで人間が中心になった採用方法を行う等の臨機応変な採用AIを活用が求められます。2つ目にScalabilityとして1つの職種に対して複数のAIを稼働して複合的な観点から候補者を分析することも必要になってくるでしょう。また、3つ目に同時に複数のモデルを利用する可能性があることから十分にシステムを稼働するためのCapacityの十分な確保が必要になります。4つ目の観点として急に社会的な需要が高くなった職種の採用を行う際に正しい決断を採用AIに下させるにはトレーニングデータが必要になるため、学習データの確保というData Balanceが不可欠です。最後に、職種ごとに設定した目標を達成することが出来たのか検討するためにAccuracyが重要になります。採用AIの運用においてもユーザーのフィードバックを蓄積していくTraceability、職種や会社ごとにＡＩモデルの性能を検証していくAuditability、必要に応じて再学習を行って採用レベルを維持していくSustainabilityという観点が必要になっていきます。

本橋氏からのコメント
Accountabilityを維持していくためにはパフォーマンスを検証していく必要がありますが性能が良い採用AIとは何かを定義することは非常に難しいと思います。採用AIもリコメンデーションを行うAIのカテゴリーに入ると思いますが、製品購入を促進するAIのように消費者が購入したかというシンプルに良し悪しを付けられるタスクを行っているわけではないということを念頭に置かなくてはなりません。
AIのパフォーマンスを向上させていくためには採用結果のフィードバックが重要になりますが、私はAIが推薦した候補者と実際に採用された候補者のマッチ率の評価や採用後に何人かに直接フィードバックをもらうべきだと考えています。

志水氏からのコメント
人事の仕事において採用は数多くある仕事の一部で採用することがゴールではありません。むしろ採用した人材が長期的に活躍していくことが重要で、とても優れている人材でも数か月や一年で辞めてしまったら失敗のケースになってしまいます。採用AIを改善していくためには採用から配置、評価、そして人材育成という一連の人事のバリューチェーンの過程でフィードバックを得られる制度を整備してAIの性能の向上に活かしていくべきだと思います。

城山氏からのコメント
短期的に職種ごとに必要な学習データを確保することは当面の間難しいと感じています、しかし今から採用データの蓄積を行っていけば長期的には学習データ不足には陥らないでしょう。採用後の事後的な分析に関してはどのような観点を意識するのかが大切だと感じていて、単純に採用後のパフォーマンスとエントリーシートの関係性を分析するだけではなく、研修・配置・キャリアパス等にも着眼していくべきだと考えています。

-「R006 誤ったフィードバック」に関して
AIの活用において利用者側に起因して発生するリスクとして取り上げたいものが誤ったフィードバックで、合否のラベルが不正確なことでAIの性能が劣化してしまうことが考えられます。このリスクは検討していく上で大切になる観点が５つあります。1つ目に、フィードバックの誤りがAIの性能を低下させることをユーザーが理解しているというEffectivnessという観点です。2つ目に、各社から集めた採用のフィードバックをどのようにAIの学習に還元していくかを検討するControllabilityが大切になります。3つ目に正確なフィードバックを行うというProper Useと、さらにAIシステムのデータの正確性を検証するData Qualityの維持が必要になります。4つ目に、実装前にAIモデルを学習・再学習させる段階で予測制度を算出し、異常な教師データの生成が行われていないか等のユーザー側のフィードバックに潜む異常な傾向が無いか検証するAccuracyという観点が大切になります。5つ目にAIモデルの性能が劣化している場合に原因を追及し、必要であれば以前のモデルに戻すことや不適切なデータがあれば教師データのクレンジング作業を行う等のSustainabilityという観点が効果的なAI活用に不可欠になります。

志水氏からのコメント
適切なフィードバックをAIモデルに還元するためには、フィードバックを作成するユーザー側が属性的なバイアスを持っていることを理解する必要があると思います。AIは私たち人間の与えるデータに基づいて学んでいくため、人間側が持つリスクを理解して最小化させることで適切なフィードバックを提供することが可能になり採用活動においてAIの魅力を最大限活かすことができると考えています。AIのポテンシャルを引き出するか否かはユーザー側の力量次第です。

本橋氏からのコメント
私は誤ったフィードバックに対してシステマティックに対応するアプローチとそうでない方法があると考えています。システマティックな対応策としては、フィードバックを作成する評価者の特徴を見分けて、それぞれの傾向をAIに認識させることでバイアスを減らすという手段があると思います。また、人間ベースのソルーションになりますが候補者に対して必ず複数人の評価者にフィードバックを作成してもらい、誤った評価をしてしまった際に他の評価者の意見も加味することで評価ミスを担保する方法が考えられます。

城山氏からのコメント
採用AIに与えているフィードバックの手法は主に合否の二択になってしまっているように感じているのですが、実際には各候補者に対して「即戦力になる」や「長期的な伸びしろがありそう」等の具体的な評価を学習データに変換できる可能性があるのか気になりました。採用で人材の多様性を意識していくのであれば、尚更候補者の特徴を詳細に理解することのできるフィードバックシステムを作成する必要があるのではないかと感じます。また、候補者を評価する人も人事から採用後に配属される部署等の幅広いユーザーを意識した制度設計が適切なフィードバックには大切になるかと思います。

-「R013 公平性」に関して
採用において特定の国、地域、人種、性別、年齢に対して不公平な予測結果を生じさせるようなAIモデルを活用することがあってはなりません。国や地域によって公平性への視点が異なる中、公平性に関わるリスクを抑制するための留意点が大きく3つあります。第一にData Balance意識することが大切で、AIに学習させるデータに偏りが無いようにしなくてはなりません。第二にAIモデルが必然的に行ってしまうGeneralizationの過程で意図せずに特定の候補者層を採用過程で除外してしまうことを防止することです。例えば、これまで女性の採用を積極的にしてこなかった企業が過去のデータに基づいて採用AI モデルを利用するとAIはこれまでの傾向に基づいて男性を優遇した判断を下す可能性があります。また、エントリーシート内に候補者の民族や信仰について書いた際に、AIが処理になれていないキーワードがあるという理由で不利な判断をされることがあってはなりません。最後にAIモデルの判断傾向を分析して各組織や地域で留意しなくてはならない公平性が保持されているかというFairnessの検討が必要になります。例えば、日本で外国人採用を行う際に懸念されることは外国人の応募者のトレーニングデータの不測で、AIが適切な判断を下せない可能性が高いです。採用AIを活用する際にリスクがある場合は必ずその問題を明確化し（Transparency）、適切な予測をすることができないことをユーザー側に合意を取るというConsensusの形成が必要になります。採用AIのユーザー側は必ずしもAIモデルが正確な判断を下せないということを理解して、状況に応じて柔軟に人間の判断を優先する等の対応策を検討することが重要になります。

本橋氏からのコメント
AIは必ず候補者の属性やラベリングを通して評価して、特定の候補者をより優れていると区別します。そのため、公正性の定義を明確することから始めない限りはその定義を採用AIに実装することが難しいでしょう。そして、公平の定義のもと作成されたAIモデルを事後的に評価することが大切になります。例えば、性別や信仰等の理由で候補者の間で差別が起きていないか確かめることが評価の一部であり、やむを得ない偏りがあった際はどのようにして是正できるかを検討することに意義があります。
AIが生み出した不公平なバイアスは、個の評価の再検討を通した解決策と、応募者全体を群として捉えて是正する方法があると考えています。性別の違いによりAIがバイアスのあるスコアリングをした場合、応募者個人ごとのスコアを是正するために強制的にスコアリングを是正するアルゴリズムを導入することもできます。一方で、私たちは採用において自然に行っている解決策としては応募者全体を群として最終的に男女比が平等に近いように調整します。採用AIを応募者に公平に利用していくためには、採用プロセスに人間の判断があるべきだと考えています。

志水氏からのコメント
採用における公平性の問題はAIに限らず、人間が主体となって行っていても不公平が生じてしまうことはあります。組織として採用の公平性の概念を明確にしたとしても、公平性を確約することは難しいです。そのため人事が最大限公平な採用や人事配置を行っていく努力を最大限することを社員に伝えていく必要があると思っています。もし不利益を被ったと感じる人がいれば、意義を申し立てられる制度設計と責任の所在を明確化しておくことが必要だと思っています。採用や人材の配置は組織内のコンテクストを考慮した上で決めるため、チーム内の平均年齢を下げるために敢えて若い年齢の人を採用したり、人種の多様性を持たせたりするために特定の人種の採用を積極的にすることがあります。このような採用の背景を説明することも大切だと感じています。採用AIの活用にも、採用プロセスは完全でないために理想に近づける意志と不備を補完する制度作りを意識することが大事だと思っています。

城山氏からのコメント
Fairnessの定義は非常に曖昧なもので、採用においても公平性の概念は流動性をもっていると考えています。組織として採用の公平性の定義に変化が必要な時に、その変革の必要性を認識できるセンサーのような制度が必要になってくると思います。そのため、志水氏が紹介していたオープンドアポリシーや、採用や人事に関連した意見を出せるボイスのシステムを採用AIの活用と併設していくことが重要だと認識しています。

まとめ：リスクチェーンモデル（RC Model）と今後の展開
今回紹介したリスクチェーンモデルを用いることで関係するステークホルダー間でリスクを抑制していくための合意形成が実現していくことを期待しています。特に採用AIは人事領域において技術力が更に高まっていくことで組織での利用が活発化していくことが予想されます。AIの潜在能力を引き出すのは使い手である人間であるため単に人材の管理や選別のために活用するのではなく、関係するステークホルダーが全て幸せになれる使い方を追求していくべきだと考えています。また、適切なAI活用のルール形成のためにポリシーや規制を検討して行く過程をデータ・ドリブンにしていくために、多様なAIを取り巻くリスクチェーン事例のデータをこれから収集していくべきだと思っています。