0. はじめに
金融機関におけるモデル活用は高度化・多様化しており、金融庁が示す「モデル・リスク管理に関する原則」は、安全な運用のための重要な指針です。とくにAIや生成AIの導入が進む現在、従来の検証だけでは不十分なリスク（ハルシネーションやプロンプト攻撃、説明性の欠如など）が顕在化しています。本記事では、原則のポイントを押さえつつ、MTECが提供する態勢整備から生成AI検証までの支援内容と実務上の留意点をわかりやすくご紹介します。
1. モデルリスク管理原則について
金融庁が2021年に公表した「モデル・リスク管理に関する原則」は、金融機関がモデルを安全かつ効果的に使うためのガイドラインです。特にAIや機械学習モデルの利用が増える中、「モデルが誤った結果を出す・想定外の使い方をされる」リスクを抑える仕組みが求められています。
| 原則 | 内容（要約） |
|---|---|
| 原則1 ガバナンス | 取締役会・経営層がモデルリスクを俯瞰し、体制・方針・責任分担を明確化する。 |
| 原則2 モデル特定・インベントリー管理・リスク格付 | 管理すべきモデルを列挙し、インベントリー化し、リスク評価を付与する。 |
| 原則3 モデル開発 | 適切な理論およびデータに基づく開発プロセスの整備、モデル記述書の作成、テスト実施。 |
| 原則4 モデル承認 | モデル導入・重要変更・再検証に際して承認プロセスを経て使用。 |
| 原則5 継続モニタリング | 運用中のモデルを継続的に性能確認し、陳腐化や誤動作を早期把握。 |
| 原則6 モデル検証 | 第2線（独立部門）による妥当性検証と必要に応じた再検証、リスク低減措置。 |
| 原則7 ベンダーモデル・外部リソース管理 | 外部提供モデルも含めた統制、検証、情報開示、代替策の確保。 |
| 原則8 内部監査 | 内部監査部門が体制全体の有効性を独立検証し、経営層に報告。 |
管理原則自体は特定の金融機関向けのものですが、こういったモデルリスクに対する考え方自体はビジネスで生成AIなどを用いている事業会社のみなさまにも参考になるのではないでしょうか。
一方で、原則として体系的に整理されているものの、実際に具体的にモデル検証などをしようとすると難しい部分がまた多いのも実情となります。金融庁が2024年に公表した「金融機関のモデル・リスク管理の高度化に向けたプログレスレポート(2024)」において、管理態勢の高度化に向けた計画やその進捗についてモニタリング及び対話の内容がまとまっています。レポート内の、＜BOX＞ 対象金融機関におけるAIモデルへのガバナンス対応・検討状況(p.22-23)において、生成AIを含むAI/機械学習のモデル検証の実情について記載されています。
| AIモデルへのガバナンス対応・検討状況 | |
|---|---|
| 金融機関A | AIモデルを複数認識し、モデル・インベントリーに含んでいるが、第２線による検証は今後実 施する予定。外部のAIモデル検証サービスの概念実証（PoC）などを通して、AI特有のリスクを踏まえたガバナンスのあり方を検討中。 アウトプットの正確性に着目した検証等、暫定的なガバナンスに努めている。 |
| 金融機関B | AIモデルにつき、モデル・リスク原則の適用対象となるものについて、管理を開始する準備を進 めている。AIの性質を踏まえた検証方法は今後の継続検討課題。暫定的には、第１線の開発部署にて精度のチェックを行っているが、明確なフレームワークがあるわけではない。 |
| 金融機関C | AIモデルを複数認識し、モデル・インベントリーに含んでいる。モデル・リスク管理としては、インプットとアウトプットの挙動をストレステストのアプローチで捉えていくことを重要と認識。外部リソース等も活用しながら専門的な知見・スキルの向上を図りつつ、モデル・ライフサイクル管理の在り方を継続検討している。 |
| 金融機関D | 現状では AIは試行的な利用に留まるため、モデル・リスク管理の枠内で管理しているモデルはないが、今後管理対象が拡大する可能性もあることから、管理方法に関する知見を高めていく予定。 |
| 金融機関E | 現状はモデル・リスク原則の適用対象としている AIモデルはなく、AIについては別途定めているAI利用に係る社内規程の中で包括的にガバナンスを行っているが、今後モデル・リスク管理手続との関係性や適用対象を整理する予定。AI利用に係る社内規程では、AIにまつわるリスクに関するコントロールを包括的に定めている。 |
この状況を見てわかるように、金融機関でもAI導入は進んでいるものの、それをどのように検証および継続的に管理していけば良いかについてはまだまだ模索段階ということがわかります。
2. MTECのコンサルティング業務と原則の対応関係
MTECではビジネス領域の1つとして、モデルリスク・コンサルティング事業を行っています。前述の問題意識の元、長年培ってきたモデル開発やモデル検証の知見を活用し、各原則を実現するための支援業務を大きく分けて、以下の4つのカテゴリに整理して提供しています。
| カテゴリ | 業務内容（例） | 関連原則 |
|---|---|---|
| 態勢整備・ガバナンス設計 | モデルリスク管理方針策定、役割分担整理、取締役会へのレポーティング体制支援 | 原則1、原則8 |
| モデル開発・導入支援 | 新規モデル導入時のプロセス整備、モデル記述書作成、承認資料作成 | 原則3、原則4 |
| モデル検証・モニタリング | 第2線としての独立検証（バックテスト・感度分析）、運用後モニタリング計画策定 | 原則5、原則6 |
| 外部モデル・データ管理 | ベンダーモデルの仕様把握、リスク評価、代替策（コンティンジェンシープラン）策定 | 原則7 |
その中でも特に「モデル開発・導入支援」や「モデル検証・モニタリング」に力を入れており、第1線と第2線のいずれかの立場、またはその間をつなぐ立場としてサポートなどを行っています。
やはり実態として第1線と第2線の問題意識やモチベーションの乖離が生じることが多く、このことがモデル検証などのリスク管理体制がうまく構築できない要因となりがちです。その意味でもMTECが第1線と第2線の間に入り、柔軟に対応していくことが適切にリスク管理を実施していく上で重要なポイントとなってきます。
3. 金融実務で対象となるモデルやタスクの例
モデルリスク管理の対象となるモデルとして代表的なものは、バーゼル規制などに関連するリスク計測モデルが挙げられます。しかしながら、その他にも金融実務では多様なモデルやタスクが存在しています。（具体的な内容は守秘義務の観点から記載出来ないため一般論となってしまいますが、）例えば以下のようなモデルが考えられます。
| モデル／タスク | 説明 | リスク観点 |
|---|---|---|
| 信用リスク計測モデル（PD・LGD、内部格付） | デフォルトや損失率を推計するモデル | データ偏り、推定誤差 |
| 市場リスクモデル（VaR・ストレステスト） | 相場変動に伴うリスク量を測定する | 極端事象の取り込み不足 |
| クオンツモデル | ポートフォリオ最適化や市場予測を目的とした数理モデル | 過学習、相関構造変化、入力データ品質 |
| 不正検知・AMLモデル | 取引監視や不正検出のスコアリング | 誤検知・漏れ、説明性 |
| プライシングモデル | デリバティブや債券評価 | キャリブレーション誤差、仮定の不適合 |
| AI/機械学習モデル | 信用スコア・需要予測・対話型AIなど | ブラックボックス、ドリフト、バイアス |
| ベンダーモデル（外部提供） | サードパーティ提供モデルの利用 | 仕様不透明、サポート終了リスク |
やはりその中でも、生成AIを筆頭に、生成AIを含むAI/機械学習モデル全般のモデルリスク管理の重要度がどんどん大きくなってきていることを体感しています。その他にも、MTECの強みの一つである資産運用領域におけるクオンツモデルなども、原則上はモデルリスクの管理対象となってきます。
4. 生成AIモデル検証業務の具体例
生成AI（大規模言語モデル：LLM）の導入にあたっては、従来型のリスク管理では捉えきれない新たな検証観点が必要です。MTECでは、OWASP Top 10 for LLM をベースに体系立てた検証を行います。
(1) OWASP Top 10 for LLM に基づく検証項目
基本的には以下の１０項目を中心に評価します。
- プロンプトインジェクション
- トレーニングデータ中の機密情報漏洩
- 有害・不適切コンテンツの生成
- 出力のハルシネーション（虚偽情報生成）
- 誤った権限昇格やアクセス制御の突破
- モデル供給元・依存関係の脆弱性
- モデル間相互作用に起因する誤作動
- 入力操作によるバイアス誘発
- 出力の説明性欠如
- モデル利用環境での監視・ロギング不足
各項目の詳細については、下記のブログが日本語で分かり易くまとまっています。↓
10項目のうち特に検証・評価に関わるのは「ハルシネーション」「出力の説明性」「不適切生成」「バイアス」などであり、こういった観点を重点的にチェックします。
(2) ベースとなる評価観点
検証の際の評価観点として1つ参考になるのは、LLM as a Judgeの枠組みです。基本的には生成AIの出力結果を生成AIに評価させるというものです。LLM as a Judgeの研究は近年活発に行われており、さまざまな論文や記事があるため、本記事において詳細な解説等は割愛します。
端的に言えば、生成AIは評価観点を決めておかないと正しく評価してくれないため、この枠組みで整理されている評価観点がモデル検証をする際の参考となります。例えば、RAG（チャットボットなどで活用される仕組み）の評価について考える際、詳細は下記のブログに詳しく記載されていますが、
Ragasの元論文だと、以下の3つの観点が提唱されています。
- Faithfulness（忠実性）：生成文が検索ドキュメントに基づいた回答になっているか
- Answer Relevance（回答の関連性）：生成文が元の質問への回答になっているか
- Context Relevance（文脈の関連性）：質問文に関連したドキュメントを検索できているか
LLM as a Judgeは人手で評価を行うコストを下げることが可能なため、我々の検証の際にも使うケースがありますし、世の中的にもさまざまなツールやサービスが提供されています。しかしながら、一般的なLLM as a Judgeの課題認識として、生成AIと人の評価に乖離が生じることもしばしばあるため、人手による評価も併せて実施する場合が多いです。
(3) タスク特化型の評価観点
生成AIはタスクによって評価軸が大きく変わります。LLM as a Judgeのような従来の汎用的な枠組み（評価観点）だけでは不十分であり、タスク特化型の評価観点の策定が非常に重要となります。例えば、金融領域における生成AIを用いたタスクとして、議事録作成や市況レポート生成などが挙げられますが、まずは以下の様に特定の観点を決めていく必要があります。
-
議事録作成（文章要約タスク）
- 文字数制約を守れているか
- 必要な情報（特定の発言や決定事項）が抜け落ちていないか
-
市況レポート生成（文章生成タスク）
- 過去のレポートと書きぶりや構成が一貫しているか
- 専門用語を適切に使用しているか
こうした評価観点はドメイン特有の観点となる場合も多く、業務理解や金融知識を背景とした人材による検証が不可欠です。一方で、実際にモデル検証を行うにあたっては生成AIやモデルに関する知見、数理的な素養を持ち合わせている必要があり、まさにこの組み合わせの部分でMTECは強みを発揮していると言えます。
5. まとめ
モデルリスク管理原則は、金融機関にとって必須の枠組みであり、モデル活用に伴うリスクをガバナンス・ライフサイクル管理・リスクベースの対応で抑制することを求めています。MTECは、原則に沿った態勢構築や検証プロセスを支援するとともに、AI・生成AIといった新しい領域にも対応しています。
特に生成AIでは、OWASP Top 10 for LLM に基づく体系的リスク管理に加え、LLM as a JudgeやRAGASなどの技術的実装、さらに金融ドメイン特化の評価観点を組み合わせた総合的な検証が不可欠です。MTECは、金融知識と実務理解を背景に、モデル検証をより実効的に行うことで、金融機関の安心・安全なAI活用を支援しています。
最後までお読みいただきありがとうございました！モデル検証をはじめ、モデルリスク・コンサルティング事業に興味のある方はこちらからご連絡いただけますと幸いです↓
Discussion