Skip to content

GRA · AIと金融モデル・リスク

空間金融資本がハザード、エクスポージャー、移行と出会う場所

モデルのモニタリングとドリフト

導入時に検証されたモデルも、顧客、商品、市場、データパイプラインが変化するにつれ、後に機能しなくなることがある。モニタリングは、性能、入力分布、結果を追跡してドリフトを検出し、見直しのきっかけとする。頻繁に再学習する機械学習モデルには、固有のリスクが加わる。本ページでは、ドリフトがどのように生じるか、モニタリングがどのように検出するか、用いられる指標、そしてモデルをいつ変更または停止すべきかを誰が決定するかを示す。

01登録

Model monitoring and drift on the record.

02質問

Model monitoring and drift: how the risk develops.

経時的な変化とレビューの閾値。以下のドシエでは、リスクがどのように展開するか、何が測定されるか、データの出所、モデル化の方法、そして誰が決定するかを示す。

メカニズム

Data drift

新たな顧客セグメントの登場、商品の変更、または上流の システム によるフィールドの変更に伴い、入力の分布は変化します。モデルは、学習していないデータに直面することになります。

メカニズム

Concept drift

The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.

メカニズム

Outcomes arrive late

債務不履行や保険金請求は意思決定から数か月または数年後に現れるため、真の実績が判明するのは遅くなります。代理指標と早期指標が、不確実性を伴いつつこのギャップを埋めます。

メカニズム

再訓練はリスクを増やす

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03エクスポージャー、損失、資本

モデルの監視とドリフトがエクスポージャー、損失、資本にとって意味すること。

リスク責任者、監督当局、財務省が求めるエクスポージャー、損失、シナリオ、資本のビューと、それらが報告の根拠とする枠組み。構造は監督実務とアクチュアリー実務に従います。値は例示であり、価格、格付け、助言では決してありません。

波及経路

How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS 気候シナリオ · 気候変動リスク等に係る金融当局ネットワークIFRS S2 気候関連開示 · ISSBTCFD 提言 · 金融安定理事会 TCFD気候関連金融リスクの実効的な管理のための諸原則 · バーゼル銀行監督委員会
04指標

何を、どの程度うまく測定しているか。

各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。

指標単位周期出典の種類ラベル
Population stability index by input無次元月次モニタリング推定
検証ベースラインに対する性能change in discrimination or calibration月次または四半期モニタリング推定
しきい値を超えたことを知らせる監視アラート件数月次モニタリング記録観測
Models retrained in period件数四半期ごとModel records申告済み
モデルに影響するデータパイプラインのインシデント件数四半期ごとインシデント記録報告値
Time from alert to remediation日アラート 1 件あたりガバナンス記録観測
05出典

エビデンスの出所。

名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。

出典提供するものライセンス区分
PRA SS1/23 principles on model monitoring継続的なパフォーマンス監視に対する期待無償、Bank of England の条件
継続的モニタリングと成果分析に関する SR 11-7米国の期待事項パブリックドメイン
EBA guidelines on loan origination and monitoringMonitoring of automated credit models無料、EU の再利用条件
Academic research on dataset shiftMethods for detecting and adapting to drift閲覧無料、条件は出版社ごと
銀行のバーゼル第 3 の柱におけるモデルのバックテスト開示Back-testing results for capital models公的記録、条件は銀行ごと
06決定

誰が決め、エビデンスが何に役立つか。

AI と金融 モデルリスク はエビデンスを準備する。以下の決定は、名称を挙げた当局が自らの規則に基づいて行うものであり、プラットフォームが行うことはない。

誰が決定するか質問このページが提供するエビデンス
モデルの所有者When to recalibrate, redevelop or retire a modelMonitoring results against thresholds
モデルリスクの機能ティアごとに適用されるモニタリング標準政策およびモニタリングのエビデンス
監督当局Whether monitoring is adequate for capital and conduct modelsバックテストとレビューの結果
データ所有者上流の変更がどのように管理されるかパイプライン事故の記録

このトピックが生み出す成果物

  • データドリフトとコンセプトドリフトのガイド
  • Method note on monitoring thresholds and alerts
  • Brief on controls for frequently retrained models
  • 結果が遅れて判明する場合に関するモデル所有者への質問
07中核となる問い

専門家が問うこと。

モニタリングに関する問いは、問題がどれだけ早く把握されるかを尋ねます。

  • Which performance measures are monitored, and how often?
  • 債務不履行や保険金請求などの結果は、どれくらいの速さで観測され、その間は何で補われるのでしょうか。
  • 入力データの分布は変化したか、そしてそれは影響があるか。
  • どのような閾値がレビュー、再較正、または撤回の契機となり、それは誰が定めましたか。
  • How are continuously retrained models governed?
08メカニズム

メカニズムと要因。

Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09手法とデータ

どのように研究され、手法がどこで止まるか。

手法またはデータ表示内容限界
Performance tracking against outcomesAccuracy and calibration over time成果は遅れて現れる
分布シフト 統計入力データの変更シフトは必ずしも性能低下を意味しない
ベンチマーク・モデルとチャレンジャー・モデルRelative performanceチャレンジャーにもデータ上の限界が一部共通する
閾値とアラートの枠組みエスカレーションすべき時期閾値には判断が伴う
11質問

質問と回答。

What is the difference between data drift and concept drift?
Data drift is a change in the distribution of inputs; concept drift is a change in how inputs relate to outcomes. Either can reduce model accuracy.
What is a population stability index?
二つの期間の間で変数やスコアの分布を比較する指標で、モデルがスコア付けする母集団の変化を検出するために用いられる。
Should models retrain automatically?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
コンセプト・ドリフトの検出はなぜ難しいのか。
入力と結果の関係に変化が生じるうえ、債務不履行などの結果は、意思決定がなされてからかなり後にならないと分からない場合があるためです。
Is automatic retraining a solution?
役立つ場合もありますが、ガバナンスが必要です。再学習したモデルは誤り、バイアス、一時的な状況を取り込む可能性があり、依然として試験と承認が必要です。
Does the platform monitor firms’ models?
No. GRA does not monitor, validate or approve any model.
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

グローバル・リスク・アライアンス(Global Risks Alliance)AIと金融モデル・リスク手法と技術指数関数的テクノロジー
AIと金融モデル・リスク

エクスポージャーまたは資本に関する問いをアライアンスに持ち込む。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。