GRA · AIと金融モデル・リスク
空間金融資本がハザード、エクスポージャー、移行と出会う場所
金融における生成 AI
Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.
作業の進め方。
モデル・リスクのライフサイクル
Generative AI in finance · Model inventory · Committee 7
ライフサイクル
- 目録登録済み
- 開発文書化済み
- 検証する独立
- 承認する委員会
- 実施統制
- 監視閾値
- 審査年次
- 廃止廃止
モデル
| MD-264 PD リテール | ティア 1 | 12 か月 | 2 | 期限超過 |
| MD-251 LLM complaints triage | ティア 1 | 決して行わない | 0 | 未検証 |
| MD-297 IFRS 9 のステージ分類 | ティア 1 | 5 months | 2 | 承認済み |
| MD-784 marketing propensity | Tier 3 | 6 か月 | 1 | 承認済み |
検証の範囲
- 概念上の健全性
- 進行中
- 結果分析
- 保留中
- ベンチマーキング
- 保留中
- 利用上の制限
- 人間によるレビューが必要
Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.
Generative AI in finance: how the risk develops.
Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Fluent but wrong
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
入力は兵器化されうる
文書、電子メール、ウェブページを介したプロンプトインジェクションにより、モデルが指示を無視したり、データを漏えいしたり、意図しない動作を行ったりすることがあります。特にモデルがツールに接続されている場合に顕著です。
境界を越えるデータ漏えい
Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.
Behaviour changes with versions
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
What Generative AI in finance means for exposure, loss and capital.
リスク責任者、監督当局、財務省が求めるエクスポージャー、損失、シナリオ、資本のビューと、それらが報告の根拠とする枠組み。構造は監督実務とアクチュアリー実務に従います。値は例示であり、価格、格付け、助言では決してありません。
波及経路
How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| 本番環境における生成 AI のユースケース | リスク区分別の件数 | 四半期ごと | ユースケース登録簿 | 申告済み |
| 評価セットにおける事実誤りの率 | share of responses | 1 回の評価あたり | Internal evaluation | 推定 |
| Prompt injection test failures | count per test cycle | テストごと | レッドチーム演習の結果 | 観測 |
| Data loss prevention events involving AI tools | 件数 | 月次 | Security monitoring | 観測 |
| AI 生成コンテンツに関連する顧客苦情 | 件数 | 四半期ごと | 苦情データ | 報告値 |
| Model version changes by providers | 件数 | 年あたり | ベンダーからの通知 | 報告値 |
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| AI が金融安定に及ぼす影響に関する FSB 報告書 | Vulnerabilities from AI adoption in finance | 無料、FSB の利用条件 |
| AI の活用事例、リスクおよび課題に関する IOSCO 報告書 | AI use in capital markets | 無償、IOSCO の条件 |
| NIST AI RMF 生成 AI プロファイル | 生成 AI に固有のリスクと対応 | パブリックドメイン |
| 大規模言語モデルアプリケーション向け OWASP Top 10 | LLM アプリケーションに共通するセキュリティリスク | Free, CC BY-SA |
| Bank of England and FCA AI surveys | 英国の金融における AI の導入とガバナンス | 無償、イングランド銀行および FCA の条件 |
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| 取締役会および経営委員会 | 生成 AI を使用できる場面と、その際の統制 | Use case risk tiers and evaluation results |
| モデルリスク部門とセキュリティ部門 | How generative AI is validated and secured | 評価、レッドチーム、モニタリングのエビデンス |
| 行為監督当局 | 顧客向け AI が行為規範と開示義務を満たしているか | 苦情と結果のエビデンス |
| 調達・法務チーム | Which providers and data terms are acceptable | Contract terms and data handling evidence |
このトピックが生み出す成果物
- 金融サービスにおける生成 AI の故障モードに関するガイド
- 事実の正確性と根拠づけの評価に関する方法ノート
- プロンプトインジェクションとツール連携型アシスタントに関する概要
- 生成AIのユースケースについて取締役会が問うべき事項
専門家が問うこと。
生成 AI に関する問いは、ユースケースとその帰結から始まります。
- What is the tool being used for, and what happens if its output is wrong?
- 出力の正確性は、顧客や意思決定に影響する前に、どのように検証されますか。
- What data is sent to the model, and could confidential information leak?
- How are prompts, versions and outputs logged for accountability?
- How dependent is the institution on a single provider, and what happens if the service changes or fails?
メカニズムと要因。
大規模言語モデルは、もっともらしい続きを予測することでテキストを生成します。流暢でもっともらしいが誤っている出力を生成することがあり、正確性が求められる場面では極めて重要な問題です。提供事業者がモデルを更新すると挙動が変わる可能性があり、巧妙に作られた入力によって操作されることもあります。入力の取りうる範囲が膨大であるため、出力を網羅的に検証することは困難です。
Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.
どのように研究され、手法がどこで止まるか。
| 手法またはデータ | 表示内容 | 限界 |
|---|---|---|
| Use-case risk assessment | Consequences of failure by application | Informal uses may not be captured |
| Evaluation against test sets | Accuracy and failure rates on known cases | 実際のあらゆる入力を網羅することはできない |
| レッドチーミングと敵対的テスト | Vulnerability to manipulation | 弱点の一部は見つけるが、すべてではない |
| Output monitoring and logging | Errors and incidents in use | 微妙な誤りの検出は困難です |
どのように研究され、手法が言えないことは何か。
質問と回答。
Is a large language model a model under model risk rules?
プロンプト・インジェクションとは何ですか。
グラウンディングとは何ですか。
なぜ言語モデルは誤った情報を生成するのですか。
Should generative AI make credit or claims decisions?
このプラットフォームは特定の AI 製品を評価しますか。
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GRAこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書グローバル・リスク・アライアンス(Global Risks Alliance)貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
エクスポージャーまたは資本に関する問いをアライアンスに持ち込む。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。