Model monitoring and drift: how the risk develops.
随时间的变化与审查阈值。下方档案说明风险如何演变、衡量什么、数据来自何处、如何建模以及由谁决定。
Concept drift
The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.
Outcomes arrive late
Defaults and claims emerge months or years after decisions, so true performance is known late. Proxies and early indicators fill the gap with uncertainty.
再培训会增加风险
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
What model monitoring and drift means for exposure, loss and capital.
风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。
传导渠道
How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| 按输入划分的群体稳定性指数 | 无量纲 | 每月 | 监测 | 估算 |
| 对照验证基线的表现 | 区分度或校准度的变化 | 每月或每季度 | 监测 | 估算 |
| 监测突破阈值的警报 | 计数 | 每月 | 监测记录 | 观测 |
| 期内重新训练的模型 | 计数 | 每季度 | 模型记录 | 已声明 |
| 影响模型的数据管道事件 | 计数 | 每季度 | 事件记录 | 已报告 |
| Time from alert to remediation | 天 | 每次警报 | 治理记录 | 观测 |
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| PRA SS1/23 principles on model monitoring | 对持续绩效监测的预期 | 免费,英格兰银行条款 |
| SR 11-7 on ongoing monitoring and outcomes analysis | United States expectations | 公有领域 |
| 欧洲银行管理局(EBA)关于贷款发放与监测的指引 | 自动化信用模型的监测 | 免费,欧盟再利用条款 |
| 关于数据集偏移的学术研究 | Methods for detecting and adapting to drift | 可免费阅读,条款依出版方而定 |
| Bank Pillar 3 model back-testing disclosures | Back-testing results for capital models | 公共记录,条款因银行而异 |
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| 模型所有者 | 何时对模型进行重新校准、重新开发或停用 | 对照阈值监测结果 |
| 模型风险函数 | 各层级适用哪些监测标准 | 政策与监测证据 |
| 监管机构 | 对资本和行为模型的监测是否充分 | 回溯测试与审查结论 |
| 数据所有方 | 上游变更如何受控 | 管道事故记录 |
该主题产生的产出
- 数据漂移与概念漂移指南
- Method note on monitoring thresholds and alerts
- 关于频繁重训练模型的控制措施简报
- Questions for model owners on late-arriving outcomes
专家提出的问题。
监测类问题询问问题多快会被发现。
- Which performance measures are monitored, and how often?
- How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
- 输入数据的分布是否已发生变化,这是否重要?
- 哪些阈值会触发审查、重新校准或撤出,由谁设定?
- How are continuously retrained models governed?
机制与驱动因素。
数据漂移指输入的分布发生变化,例如出现新的客户群或数据来源变更。概念漂移指输入与结果之间的关系发生变化,例如经济冲击改变了收入对还款能力的预测作用。概念漂移更危险,也更难检测,因为结果可能需要数月或数年才能观察到。
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
如何研究,以及方法止于何处。
| 方法或数据 | 显示内容 | 局限 |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | 结果延迟出现 |
| 分布偏移 统计 | 输入数据的变化 | 转变并不总是意味着性能损失 |
| 基准模型与挑战者模型 | 相对表现 | Challengers share some data limitations |
| Threshold and alerting frameworks | 何时升级上报 | 阈值涉及判断 |
问题与解答。
What is the difference between data drift and concept drift?
什么是人口稳定性指数?
Should models retrain automatically?
为什么概念漂移难以检测?
自动再训练是解决办法吗?
Does the platform monitor firms’ models?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件门户 GW-GRA从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告全球风险联盟(Global Risks Alliance)查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。