Skip to content

GRA · AIと金融モデル・リスク

空間金融資本がハザード、エクスポージャー、移行と出会う場所

金融における生成 AI

Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.

01キャンバス

作業の進め方。

システム ・この主題の周辺例示

モデル・リスクのライフサイクル

Generative AI in finance · Model inventory · Committee 7

検証 3 件が期限超過GRA · AIと金融モデル・リスク

ライフサイクル

  1. 目録登録済み
  2. 開発文書化済み
  3. 検証する独立
  4. 承認する委員会
  5. 実施統制
  6. 監視閾値
  7. 審査年次
  8. 廃止廃止

モデル

MD-264 PD リテールティア 112 か月2期限超過
MD-251 LLM complaints triageティア 1決して行わない0未検証
MD-297 IFRS 9 のステージ分類ティア 15 months2承認済み
MD-784 marketing propensityTier 36 か月1承認済み

検証の範囲

概念上の健全性
進行中
結果分析
保留中
ベンチマーキング
保留中
利用上の制限
人間によるレビューが必要
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.

02質問

Generative AI in finance: how the risk develops.

Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

メカニズム

Fluent but wrong

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

メカニズム

入力は兵器化されうる

文書、電子メール、ウェブページを介したプロンプトインジェクションにより、モデルが指示を無視したり、データを漏えいしたり、意図しない動作を行ったりすることがあります。特にモデルがツールに接続されている場合に顕著です。

メカニズム

境界を越えるデータ漏えい

Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.

メカニズム

Behaviour changes with versions

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03エクスポージャー、損失、資本

What Generative AI in finance means for exposure, loss and capital.

リスク責任者、監督当局、財務省が求めるエクスポージャー、損失、シナリオ、資本のビューと、それらが報告の根拠とする枠組み。構造は監督実務とアクチュアリー実務に従います。値は例示であり、価格、格付け、助言では決してありません。

波及経路

How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS 気候シナリオ · 気候変動リスク等に係る金融当局ネットワークIFRS S2 気候関連開示 · ISSBTCFD 提言 · 金融安定理事会 TCFD気候関連金融リスクの実効的な管理のための諸原則 · バーゼル銀行監督委員会
04指標

何を、どの程度うまく測定しているか。

各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。

指標単位周期出典の種類ラベル
本番環境における生成 AI のユースケースリスク区分別の件数四半期ごとユースケース登録簿申告済み
評価セットにおける事実誤りの率share of responses1 回の評価あたりInternal evaluation推定
Prompt injection test failurescount per test cycleテストごとレッドチーム演習の結果観測
Data loss prevention events involving AI tools件数月次Security monitoring観測
AI 生成コンテンツに関連する顧客苦情件数四半期ごと苦情データ報告値
Model version changes by providers件数年あたりベンダーからの通知報告値
05出典

エビデンスの出所。

名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。

出典提供するものライセンス区分
AI が金融安定に及ぼす影響に関する FSB 報告書Vulnerabilities from AI adoption in finance無料、FSB の利用条件
AI の活用事例、リスクおよび課題に関する IOSCO 報告書AI use in capital markets無償、IOSCO の条件
NIST AI RMF 生成 AI プロファイル生成 AI に固有のリスクと対応パブリックドメイン
大規模言語モデルアプリケーション向け OWASP Top 10LLM アプリケーションに共通するセキュリティリスクFree, CC BY-SA
Bank of England and FCA AI surveys英国の金融における AI の導入とガバナンス無償、イングランド銀行および FCA の条件
06決定

誰が決め、エビデンスが何に役立つか。

AI と金融 モデルリスク はエビデンスを準備する。以下の決定は、名称を挙げた当局が自らの規則に基づいて行うものであり、プラットフォームが行うことはない。

誰が決定するか質問このページが提供するエビデンス
取締役会および経営委員会生成 AI を使用できる場面と、その際の統制Use case risk tiers and evaluation results
モデルリスク部門とセキュリティ部門How generative AI is validated and secured評価、レッドチーム、モニタリングのエビデンス
行為監督当局顧客向け AI が行為規範と開示義務を満たしているか苦情と結果のエビデンス
調達・法務チームWhich providers and data terms are acceptableContract terms and data handling evidence

このトピックが生み出す成果物

  • 金融サービスにおける生成 AI の故障モードに関するガイド
  • 事実の正確性と根拠づけの評価に関する方法ノート
  • プロンプトインジェクションとツール連携型アシスタントに関する概要
  • 生成AIのユースケースについて取締役会が問うべき事項
07中核となる問い

専門家が問うこと。

生成 AI に関する問いは、ユースケースとその帰結から始まります。

  • What is the tool being used for, and what happens if its output is wrong?
  • 出力の正確性は、顧客や意思決定に影響する前に、どのように検証されますか。
  • What data is sent to the model, and could confidential information leak?
  • How are prompts, versions and outputs logged for accountability?
  • How dependent is the institution on a single provider, and what happens if the service changes or fails?
08メカニズム

メカニズムと要因。

大規模言語モデルは、もっともらしい続きを予測することでテキストを生成します。流暢でもっともらしいが誤っている出力を生成することがあり、正確性が求められる場面では極めて重要な問題です。提供事業者がモデルを更新すると挙動が変わる可能性があり、巧妙に作られた入力によって操作されることもあります。入力の取りうる範囲が膨大であるため、出力を網羅的に検証することは困難です。

Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.

09手法とデータ

どのように研究され、手法がどこで止まるか。

手法またはデータ表示内容限界
Use-case risk assessmentConsequences of failure by applicationInformal uses may not be captured
Evaluation against test setsAccuracy and failure rates on known cases実際のあらゆる入力を網羅することはできない
レッドチーミングと敵対的テストVulnerability to manipulation弱点の一部は見つけるが、すべてではない
Output monitoring and loggingErrors and incidents in use微妙な誤りの検出は困難です
10手法

どのように研究され、手法が言えないことは何か。

  1. 人工知能と機械学習勾配ブースティングによる信用モデル · 業務における言語モデル · 異常検知ここでの適用
  2. AI 評価・保証工学機械学習モデルの検証 · 生成 AI のレッドチーミング · 公平性の評価ここでの適用
  3. 不確実性の定量化とモデル検証損失モデルの予測区間 · モデル・アンサンブル · モデルリスクのための資本またはバッファーここでの適用
  4. 確率と統計較正の試験 · ドリフトの統計 · 集団間の結果の比較ここでの適用
11質問

質問と回答。

Is a large language model a model under model risk rules?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
プロンプト・インジェクションとは何ですか。
An attack in which instructions hidden in inputs, such as a document or web page, cause a language model to ignore its intended instructions or take unintended actions.
グラウンディングとは何ですか。
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
なぜ言語モデルは誤った情報を生成するのですか。
Because they generate statistically likely text rather than retrieving verified facts. Without grounding and checks, they can produce plausible but incorrect output.
Should generative AI make credit or claims decisions?
That is for institutions and regulators to decide. Where the consequences for people are significant, strong human oversight and testing are widely expected.
このプラットフォームは特定の AI 製品を評価しますか。
いいえ。GRAは製品やベンダーを評価、格付け、推奨することはない。
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

グローバル・リスク・アライアンス(Global Risks Alliance)AIと金融モデル・リスク手法と技術指数関数的テクノロジー
AIと金融モデル・リスク

エクスポージャーまたは資本に関する問いをアライアンスに持ち込む。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。