Skip to content

GRA · 人工智能与金融模型风险

空间金融资本与危害、风险暴露和转型的交汇之处

模型监测与漂移

投入使用时经过验证的模型,可能随着客户、产品、市场和数据管道的变化而在日后失效。监测通过跟踪性能、输入分布和结果来发现漂移并触发审查。频繁重新训练的机器学习模型会带来自身的风险。本页说明漂移如何产生、监测如何发现漂移、所用的度量指标,以及由谁决定模型何时必须变更或停用。

01登记

Model monitoring and drift on the record.

02问题

Model monitoring and drift: how the risk develops.

随时间的变化与审查阈值。下方档案说明风险如何演变、衡量什么、数据来自何处、如何建模以及由谁决定。

机制

Data drift

随着新的客户群体出现、产品发生变化,或上游 系统 更改字段,输入数据的分布会随之变化。模型会遇到未经训练的数据。

机制

Concept drift

The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.

机制

Outcomes arrive late

Defaults and claims emerge months or years after decisions, so true performance is known late. Proxies and early indicators fill the gap with uncertainty.

机制

再培训会增加风险

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03风险暴露、损失与资本

What model monitoring and drift means for exposure, loss and capital.

风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。

传导渠道

How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS 气候情景 · 央行与监管机构绿色金融网络IFRS S2 气候相关披露 · ISSBTCFD 建议 · 金融稳定理事会 TCFD有效管理气候相关金融风险的原则 · 巴塞尔银行监管委员会
04指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
按输入划分的群体稳定性指数无量纲每月监测估算
对照验证基线的表现区分度或校准度的变化每月或每季度监测估算
监测突破阈值的警报计数每月监测记录观测
期内重新训练的模型计数每季度模型记录已声明
影响模型的数据管道事件计数每季度事件记录已报告
Time from alert to remediation天每次警报治理记录观测
05来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
PRA SS1/23 principles on model monitoring对持续绩效监测的预期免费,英格兰银行条款
SR 11-7 on ongoing monitoring and outcomes analysisUnited States expectations公有领域
欧洲银行管理局(EBA)关于贷款发放与监测的指引自动化信用模型的监测免费,欧盟再利用条款
关于数据集偏移的学术研究Methods for detecting and adapting to drift可免费阅读,条款依出版方而定
Bank Pillar 3 model back-testing disclosuresBack-testing results for capital models公共记录,条款因银行而异
06决定

由谁决定,以及证据服务于什么。

AI 与金融 模型风险 负责准备证据。以下决定由所指明的主管机构依其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
模型所有者何时对模型进行重新校准、重新开发或停用对照阈值监测结果
模型风险函数各层级适用哪些监测标准政策与监测证据
监管机构对资本和行为模型的监测是否充分回溯测试与审查结论
数据所有方上游变更如何受控管道事故记录

该主题产生的产出

  • 数据漂移与概念漂移指南
  • Method note on monitoring thresholds and alerts
  • 关于频繁重训练模型的控制措施简报
  • Questions for model owners on late-arriving outcomes
07核心问题

专家提出的问题。

监测类问题询问问题多快会被发现。

  • Which performance measures are monitored, and how often?
  • How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
  • 输入数据的分布是否已发生变化,这是否重要?
  • 哪些阈值会触发审查、重新校准或撤出,由谁设定?
  • How are continuously retrained models governed?
08机制

机制与驱动因素。

数据漂移指输入的分布发生变化,例如出现新的客户群或数据来源变更。概念漂移指输入与结果之间的关系发生变化,例如经济冲击改变了收入对还款能力的预测作用。概念漂移更危险,也更难检测,因为结果可能需要数月或数年才能观察到。

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09方法与数据

如何研究,以及方法止于何处。

方法或数据显示内容局限
Performance tracking against outcomesAccuracy and calibration over time结果延迟出现
分布偏移 统计输入数据的变化转变并不总是意味着性能损失
基准模型与挑战者模型相对表现Challengers share some data limitations
Threshold and alerting frameworks何时升级上报阈值涉及判断
10方法

如何研究,以及方法无法说明的内容。

  1. 概率与统计校准检验 · 漂移统计量 · 群体结果比较在此应用
  2. 不确定性量化与模型验证损失模型的预测区间 · 模型集合 · 模型风险资本或缓冲在此应用
  3. 人工智能与机器学习梯度提升信用模型 · 运营中的语言模型 · 异常检测在此应用
  4. AI 评估与保证工程机器学习模型验证 · 生成式人工智能红队测试 · 公平性评估在此应用
11问题

问题与解答。

What is the difference between data drift and concept drift?
数据漂移是输入分布的变化;概念漂移是输入与结果之间关系的变化。二者都可能降低模型准确性。
什么是人口稳定性指数?
一种比较某一变量或评分在两个时期内分布情况的度量,用于检测模型所评分人群的变化。
Should models retrain automatically?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
为什么概念漂移难以检测?
Because it involves changes in the relationship between inputs and outcomes, and outcomes such as defaults may only be known long after decisions are made.
自动再训练是解决办法吗?
可以有帮助,但需要治理:重新训练的模型可能吸收错误、偏差或暂时性条件,仍必须经过测试和批准。
Does the platform monitor firms’ models?
No. GRA does not monitor, validate or approve any model.
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

全球风险联盟(Global Risks Alliance)人工智能与金融模型风险方法与技术指数级技术
人工智能与金融模型风险

向联盟提出风险暴露或资本问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。