Model monitoring and drift on the record.
Model monitoring and drift: how the risk develops.
経時的な変化とレビューの閾値。以下のドシエでは、リスクがどのように展開するか、何が測定されるか、データの出所、モデル化の方法、そして誰が決定するかを示す。
Data drift
新たな顧客セグメントの登場、商品の変更、または上流の システム によるフィールドの変更に伴い、入力の分布は変化します。モデルは、学習していないデータに直面することになります。
Concept drift
The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.
Outcomes arrive late
債務不履行や保険金請求は意思決定から数か月または数年後に現れるため、真の実績が判明するのは遅くなります。代理指標と早期指標が、不確実性を伴いつつこのギャップを埋めます。
再訓練はリスクを増やす
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
モデルの監視とドリフトがエクスポージャー、損失、資本にとって意味すること。
リスク責任者、監督当局、財務省が求めるエクスポージャー、損失、シナリオ、資本のビューと、それらが報告の根拠とする枠組み。構造は監督実務とアクチュアリー実務に従います。値は例示であり、価格、格付け、助言では決してありません。
波及経路
How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| Population stability index by input | 無次元 | 月次 | モニタリング | 推定 |
| 検証ベースラインに対する性能 | change in discrimination or calibration | 月次または四半期 | モニタリング | 推定 |
| しきい値を超えたことを知らせる監視アラート | 件数 | 月次 | モニタリング記録 | 観測 |
| Models retrained in period | 件数 | 四半期ごと | Model records | 申告済み |
| モデルに影響するデータパイプラインのインシデント | 件数 | 四半期ごと | インシデント記録 | 報告値 |
| Time from alert to remediation | 日 | アラート 1 件あたり | ガバナンス記録 | 観測 |
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| PRA SS1/23 principles on model monitoring | 継続的なパフォーマンス監視に対する期待 | 無償、Bank of England の条件 |
| 継続的モニタリングと成果分析に関する SR 11-7 | 米国の期待事項 | パブリックドメイン |
| EBA guidelines on loan origination and monitoring | Monitoring of automated credit models | 無料、EU の再利用条件 |
| Academic research on dataset shift | Methods for detecting and adapting to drift | 閲覧無料、条件は出版社ごと |
| 銀行のバーゼル第 3 の柱におけるモデルのバックテスト開示 | Back-testing results for capital models | 公的記録、条件は銀行ごと |
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| モデルの所有者 | When to recalibrate, redevelop or retire a model | Monitoring results against thresholds |
| モデルリスクの機能 | ティアごとに適用されるモニタリング標準 | 政策およびモニタリングのエビデンス |
| 監督当局 | Whether monitoring is adequate for capital and conduct models | バックテストとレビューの結果 |
| データ所有者 | 上流の変更がどのように管理されるか | パイプライン事故の記録 |
このトピックが生み出す成果物
- データドリフトとコンセプトドリフトのガイド
- Method note on monitoring thresholds and alerts
- Brief on controls for frequently retrained models
- 結果が遅れて判明する場合に関するモデル所有者への質問
専門家が問うこと。
モニタリングに関する問いは、問題がどれだけ早く把握されるかを尋ねます。
- Which performance measures are monitored, and how often?
- 債務不履行や保険金請求などの結果は、どれくらいの速さで観測され、その間は何で補われるのでしょうか。
- 入力データの分布は変化したか、そしてそれは影響があるか。
- どのような閾値がレビュー、再較正、または撤回の契機となり、それは誰が定めましたか。
- How are continuously retrained models governed?
メカニズムと要因。
Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
どのように研究され、手法がどこで止まるか。
| 手法またはデータ | 表示内容 | 限界 |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | 成果は遅れて現れる |
| 分布シフト 統計 | 入力データの変更 | シフトは必ずしも性能低下を意味しない |
| ベンチマーク・モデルとチャレンジャー・モデル | Relative performance | チャレンジャーにもデータ上の限界が一部共通する |
| 閾値とアラートの枠組み | エスカレーションすべき時期 | 閾値には判断が伴う |
どのように研究され、手法が言えないことは何か。
質問と回答。
What is the difference between data drift and concept drift?
What is a population stability index?
Should models retrain automatically?
コンセプト・ドリフトの検出はなぜ難しいのか。
Is automatic retraining a solution?
Does the platform monitor firms’ models?
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GRAこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書グローバル・リスク・アライアンス(Global Risks Alliance)貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
エクスポージャーまたは資本に関する問いをアライアンスに持ち込む。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。