Future Audit -AIサービス監査の未来-

「Future Audit -AIサービス監査の未来-」と題してAIに対する監査の未来を考えるイベントが開催されました。

2021年11月26日に「オンライン開催：Future Audit -AIサービス監査の未来-」が行われました。

AIサービス及びAIシステムをどのように監査していくかは、現在世界的な関心事となっています。深層学習をはじめとするいわゆる「ブラックボックス」化してしまうシステムやサービスに対して、どのように/どの範囲で/どの段階で実施するのか、内部監査と外部監査の役割/監査品質の確保/監査人の能力、またAIサービスによって重視すべき価値(安全性、公平性、説明責任等)が異なる中で監査をどのように実施できるのか、など整理すべき論点は様々です。一方で監査手続の中でAIモデルを活用することを目的とした研究や実践も行われており、監査とAIをめぐる議論は論点が多岐にわたります。　

東京大学未来ビジョン研究センターでは、リスク管理方法についての検討や国際機関との連携など、AIガバナンスに関してプラットフォームとなる活動を行ってきました。本イベントでは、上記の課題認識の中でAIサービス及びAIシステムをどのように監査していくかをテーマとして、大手監査法人においてAIシステムの監査・保証を検討している専門家の他、情報システムを中心とする内部統制の専門家、関連団体の関係者をお招きして、AIを通して監査のあり方そのものや、ガバナンスの仕組みについての論点整理を目的に開催されました。

＜研究会概要＞
■2021年11月26日（金）13:00〜14:30
■ 実施形態：オンライン開催
■ 話題提供：
隅屋 輝佳（世界経済フォーラム第四次産業革命日本センター）
松本 敬史（有限責任監査法人トーマツ/東京大学未来ビジョン研究センター）
■パネルディスカッション司会：
吉澤 剛（EY新日本有限責任監査法人）
■パネリスト：
長谷 友春（有限責任監査法人トーマツ/公認会計士）
阿子島 隆（Japan Digital Design）
岩田 太地（日本電気）
羽深 宏樹（経済産業省商務情報政策局）
■ 主催：東京大学未来ビジョン研究センター
■ 協力：世界経済フォーラム第四次産業革命日本センター

人工知能（AI）の社会的普及が加速していく中、AIが設計者の意図した通りに機能しているか、また利用者に対して不利益が生じていないか等のチェックをすることが一層重要になってきています。本イベントは企業が活用しているAIを監査する試みやAI監査の定義に関して、AI開発業界の関係者、監査法人所属の公認会計士、AIガバナンスを設計する政府関係者をお招きして開催しました。

開会の挨拶として東京大学未来ビジョン研究センターに所属する江間有沙氏から本イベントを通してAIサービスの評価や、AI監査を行うことで発生する社会への影響を考えていきたいという意気込みが述べられました。

最初の話題提供として、世界経済フォーラム第四次産業革命日本センターの隅屋 輝佳氏からアジャイルガバナンスにおける監査というテーマを中心にＡＩに対する監査が必要な理由や、どのようにしてＡＩ監査を実施していくべきかをお話しいただきました。アジャイルガバナンスの必要性が高まってきている要因として、テクノロジーの導入による社会構造の変化が挙げられます。社会に実装されているテクノロジーの進化や、社会環境の変化という外的要因に呼応して、一度策定されたガバナンスの目的を適宜変化させていくことが求められます。また、そのガバナンス施策を運用した結果をリアルタイムで把握し、改善のループを回し続けることも同様に必要です。このように柔軟にガバナンスをアップデートしていくこと、これを政府単独でなく、多様なステークホルダーで協働して行うことがアジャイル・ガバナンスの要諦になります。継続的なアップデートが前提のAIが、多様な形態で社会に浸透していくなかで、その価値を享受すると同時に、リスクに適切に対応するためには、まさにこのアジャイル・ガバナンスが不可欠です。特に、AIモデル・AIサービスを評価し、その信頼性を担保する役割である監査はアジャイル・ガバナンスの重要な要素の一つであり、監査自体も静的な手法から動的なモデルに変わっていくべきであると問題提起されました。その上で、新たな監査メカニズムへの社会的信用の担保をどのようにして維持するのか、市民からAIへの信頼を獲得するにはどのようなコミュニケーションや検討の枠組みが必要なのか、こうした議論と実践がテクノロジーの更なる社会実装に不可欠であると強調されました。

引き続き2つ目の話題提供を、有限責任監査法人トーマツ及び東京大学未来ビジョン研究センター客員研究員の松本敬史氏よりAI監査の主要な論点の説明をいただきました。松本氏は東京大学でAIガバナンスやAIサービスのリスクの特定及びコントロールに関してケーススタディ等を活用して研究しています。AIを監査していく時に、最初に検討しなくてはいけない要件としてAI の範囲・定義があると述べました。AIは必ずしもAIを構築するアルゴリズムだけにリスクが潜んでいるわけではなく、アルゴリズムに学習させるトレーニングデータやAI基盤としたサービスや製品を利用するユーザーにリスクが潜んでいる場合もあります。そのためAIのリスク管理には利用者の環境も含めた包括的なアプローチが効果的になると指摘されました。次に本イベントのパネルディスカッションで議論する３つのテーマの説明がありました。１つ目が、AI という変化していくテクノロジーに対してどのようにして信頼を確保することができるかという点です。日々変化していくものを対象に監査することになるため、監査中にリアルタイムでアップデートされていくテクノロジーを正しく評価することができるのかという疑問が残ります。２つ目のテーマとして、AIを使用したサービスごとに実現するべきゴールや検討すべきリスクが大きく異なる中で、どのようにして監査の手法を確立させていくべきかが挙げられました。まず、ビジネスにおいてAIサービスが担うべき役割や期待値(実現すべきゴール)と、AIモデルの目的関数や性能評価指標が整合しているかという検討が必要であり、その上で監査の対象範囲（AIモデル／システム基盤／サービス運用／利用者環境等）を個別に検討していくことが必要になるとの問題提起がありました。3つ目のテーマは監査目的が多様化していく中で監査業界及び監査人はどのようにして監査への信頼・品質の確保を行うことができるのかという議題です。従来の監査では評価プロセスの基礎となる監査マニュアルを充実させることで監査人監査人ごとの品質に極端な差が生まれないように取り組んできました。しかし、技術革新のスピードが速く、多様な目的に利用されるＡＩに対応できる監査マニュアルの策定は非常に難しいと考えられます。また、監査法人に従事する専門家が、AI技術を正しく理解し合理的に評価するための技術的な知識と検討すべきリスクに関連する社会問題や政策の知識を十分に確保し続けることができるのかという課題が挙げられました。

本イベントは隅屋氏と松本氏からの話題提供から4人のステークホルダーを招いたパネルディスカッションに移りました。ディスカッションはEY新日本有限責任監査法人でFAAS事業部マネージャーを務める吉澤 剛氏の司会の下行われました。パネリストにはAIの開発、テクノロジー関連のガバナンス、そして監査業務を専門にするステークホルダーをお招きしました。AIのビジネスでの実装に携わる専門家として日本電気（NEC）でデジタルインテグレーション本部長を務める岩田 太地氏が参加されました。監査業務に携わる当事者としてJapan Digital DesignでIT関連の内部監査を行っている阿子島 隆氏、そして有限責任監査法人トーマツでテクノロジー関連の監査や外部評価業務に広く関わってきた長谷 友春氏にもご参加いただきました。また、政府のテクノロジーガバナンスにおける視点を議論に取り入れるために経済産業省商務情報政策局の羽深 宏樹氏も参加されました。

ディスカッションの１つ目の議題として挙げられたのは、「AIを活用したサービスの監査とは何か」でした。最初に岩田氏からAI監査においてリスクコントロールという概念を念頭に置くべきであること、また監査のプロセスは2つのフェーズに分けるべきだと提案がありました。第一過程では、AIのアルゴリズムを教師データで学習させて実装可能な状態に仕上がったモデルが、設計者の意図した通りに機能していているかの結果を確認します。第二過程では、AIモデルが実装されてから新しいデータを利用してモデルを更新していく際に、インプットデータの品質の確認とホワイトボックス化可能なAIアルゴリズムの判定プロセスの評価とモニタリングが必要なると説明がありました。しかし、このような制度化された監査を実施していくためには、ＡＩサービスに使われている技術が監査可能な状態でなくてはならないと指摘されました。内部監査を専門にする阿子島氏は、監査人がＡＩの正常な機能を保証する場合、その評価基準や、正しく機能することの定義を明確化させる必要があると述べられました。羽深氏はＡＩ監査にはリスクを評価するKey Risk Indicatorの様な共通の視点が不可欠ということを述べられました。さらに、監査に関わることになるステークホルダーを交えた議論がケースごとにされていくべきだとの意見が岩田氏から出されました。司会の吉澤氏からは監査側と被監査側を含めた議論は監査に必要な独立性や客観性の前提を崩してしまうのではないかと質問がありましたが、岩田氏はこれに対してＡＩの開発・監査・ガバナンスする関係者が一丸になってルール設定をして継続的に見直していかなくてはならないと返答されました。しかし、ＡＩの達成すべきゴールはサービスやプロダクトによって異なってくる性質上、どのようにしてＡＩ監査の目的、範囲や手法を検討していくべきかこれから更なる議論が必要だという見解も示されました。

パネル討論は次に「多様なAIを使用したサービスに対して、監査の手法をどのように対応させていくべきか」というテーマに移りました。まず、羽深氏がＡＩサービスへの監査と通常の監査で大きく異なる点として、ＡＩは実装するまでどのような機能をするのか定めることができないため、事前に想定した機能や結果を達成しているかどうか評価することが難しいと述べられました。ＡＩは事前にクリアするべきベンチマークを一概に制定することが不可能なため結果ベースで監査をしなくてはならないことに加えて、評価するべきゴールが交錯して各ゴールが互いに影響し合います。例えば、ユーザーを評価するAIの場合、プライバシーの保護を名目にAIの学習に使用するユーザーの情報を大きく制限してしまった場合、アルゴリズムは公平な判断が出来なくなってしまうことが想定できます。羽深氏はＡＩの監査においてクリアするべきゴールが複数ある中で達成状況のバランスをどのように取っていくべきかを、システム設計者、ＡＩサービス運営者、ユーザー等の内外のステークホルダーを含めて議論していくことの大切さを強調されました。長谷氏はＡＩのアルゴリズムが導き出す判断における「正しい」と「間違い」の定義に関して言及されました。AIサービスの監査を実施する際に何をもって「正しい」AIになるかは文化的、時代的なコンテクストを含んだ監査人たちの主観に左右されてしまう可能性があると述べられました。さらに、AIは実装されている限り新たな学習データを与えられて日々中身が更新されていくため、外部からAIの性能や公平性を保証したとしても、その監査結果を信頼できる期間の適切な長さは不明確です。岩田氏はAIが日々更新されていく性質を踏まえて、監査ではなく、AIに関連するステークホルダーを中心とした包括的なガバナンスに取り組むことでAIサービスの安全性や信頼をユーザーに提供していくべきではないかと意見されました。羽深氏は常に変化していくAIをガバナンスするためには、法律のように事前に決められた期間ごとに定期的に行うのではなく、タイムリーにガバナンスの内容を変更していく体制が必要になると提唱されました。さらに羽深氏は、ステークホルダーを事前に決めきることはできず、AIが実装された後に不満を抱えるステークホルダーを、随時行われるガバナンス改変時の議論に含めるようにしてアジャイルな手法を通してAIサービスへの信頼を構築できるようにすべきと述べられました。

最後のテーマとして、「AI監査への対応を含めた今後の監査業界のあり方」が議論されました。まず長谷氏からAIサービスの監査を実現していくためには、どのような人材が適切なのかが問題提起されました。またAIの専門家集団ではない監査法人がAI監査をする適切な主体となるにはAIについての専門性を高める必要があるのと同時に、AIサービスの監査が出来ることを保証する教育制度や資格を創設していく必要があると述べられました。さらにAIの普及が加速していく社会で、監査という手段のみが市民からAIへの信頼性を担保する手段になった場合、監査を受けやすい資金力のある大企業のAIサービスが優位になる可能性があるため、監査以外の方法でもＡＩの質を担保する仕組みが要請されるかもしれないと指摘されました。阿子島氏は監査法人を通した法定監査のプロセス以外で、AIへの社会的信頼を確保するためには内部監査が重要になることを踏まえて、企業の経営陣がAIの内部監査の意義を理解していくことで内部監査人がAI開発の過程や運用工程中に業務を遂行しやすい環境作りをしていくべきだと述べられました。岩田氏は従来のような外部機関による監査をAIサービスに対して実施していくためには、AIに関しての知見を持つ研究所と監査法人がコラボレーションしていくことが不可欠だと意見されました。また新たなAIの監査体制は、通常は被監査側のAIの開発者や研究者と監査人が協力することになるため、監査プロセスの役割分担を再検討していくべきとも指摘されました。最後に羽深氏は政府の視点からAI監査を含めたAIガバナンスの目指すべきビジョンを説明されました。AIの安全性と信頼性を確保するために評価を行っていくことは絶対に必要なことで、企業が監査を経るなどして適切なガバナンスを行うことが企業価値の向上につながるようなインセンティブ作りを、政府がやらなくてはならないと述べられました。そしてＡＩガバナンスというより大きな枠組みで考えると、ＡＩサービスを提供する会社が問題を起こしてしまった際に無条件に厳格な制裁や罰則を実施するのではなく、問題発生時には自ら積極的に原因究明に協力するなど一定の条件を満たすことによって免責を得られるなど、イノベーションを育めるガバナンスを実現したいと述べられました。

最後に閉会の挨拶を東京大学未来ビジョン研究センターのセンター長を務める城山 英明教授からいただきました。未来のＡＩ監査を導いていくＡＩ開発、内部監査、外部監査、そして政府のステークホルダー間でダイナミックな議論をされていて、ＡＩを監査していくために必要な指標が多様な価値観に影響されているということを実感できたと述べられました。また、ＡＩという日々流動的に進化していくものを対象にガバナンスをしていく時に規制だけでは正しい軌道に乗せることは難しいため、ＡＩに関連する事故が発生する度にそれを学習機会としてステークホルダー達が認識して、関係者が一体となってラーニングを積んで試行錯誤していく姿勢が大事になることに賛同されました。
東京大学未来ビジョンセンターは、本イベントのようなＡＩ監査及びテクノロジーガバナンスに関連する議論をする機会をこれからも世界経済フォーラムの第四次産業革命センターと協力して開催していく予定です。