Skip to content

GRA · 人工智能与金融模型风险

空间金融资本与危害、风险暴露和转型的交汇之处

人工介入控制措施

人工监督 旨在发现模型错误、处理例外情况,并让问责保留在人的手中。实际中,审核人员可能轻信模型、缺乏时间或信息,或随着自动化扩大而被取消。本页说明金融服务中人在回路控制如何运作与失效,如何衡量其有效性,以及由谁决定人的判断必须保留在哪些环节。

01登记

记录在案的人工介入控制措施。

02问题

Human in the loop controls: how the risk develops.

权限与批准。下方档案阐述风险如何发展、衡量什么、数据来自何处、如何建模以及由谁决定。

机制

自动化偏差

Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.

机制

Reviewers lack context

若缺少解释、置信度评分以及对底层数据的访问,审核人员无法判断何时应予推翻,因此很少这样做。

机制

Accountability must stay with people

法规和治理将责任分配给具名的个人和董事会。把决策委托给模型并不等于委托问责。

机制

Overrides teach the system

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03风险暴露、损失与资本

人在回路控制对风险暴露、损失和资本意味着什么。

风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。

传导渠道

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS 气候情景 · 央行与监管机构绿色金融网络IFRS S2 气候相关披露 · ISSBTCFD 建议 · 金融稳定理事会 TCFD有效管理气候相关金融风险的原则 · 巴塞尔银行监管委员会
04指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
人工否决率模型建议被人工否决的比例每月决定记录观测
覆盖操作的结果被人工推翻的决策与未被推翻的决策的表现对比每季度决策与结果记录估算
Review time per case分钟每月工作流数据观测
Decisions fully automated决策占比每季度过程记录已声明
每项模型用途均有指定的问责责任人share of uses年度治理记录已声明
客户对自动化决策的申诉获维持的数量和占比每季度投诉数据已报告
05来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight design免费,欧盟再利用条款
GDPR 关于自动化个人决策的规定Rights concerning solely automated decisions免费,欧盟再利用条款
英国高级管理人员与认证制度文件英国金融机构中的个人问责Free, FCA and PRA terms
Research on automation bias in decision supportEvidence on human reliance on automated advice可免费阅读,条款依出版方而定
IAIS Application Paper on the supervision of AIAccountability expectations for insurers免费,IAIS 条款
06决定

由谁决定,以及证据服务于什么。

AI 与金融 模型风险 负责准备证据。以下决定由所指明的主管机构依其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
董事会和高级管理人员哪些决策必须保留人的判断,以及由谁负责使用风险、法律义务和人工干预证据
Operations leadersHow reviewers are resourced and informed工作流程、时间和人工覆盖数据
监管机构Whether oversight arrangements meet legal requirements过程设计与成果证据
模型风险函数How override data feed model review人工覆盖与结果分析

该主题产生的产出

  • 设计有意义的人工审查指南
  • Method note on analysing overrides and their outcomes
  • 关于决策自动化时问责问题的简报
  • Questions for boards on where judgement must remain human
07核心问题

专家提出的问题。

这些问题旨在判断 人工监督 是真实有效还是流于形式。

  • At which points in the process does a person review, and with what authority?
  • 审查人员是否有足够的信息和时间对模型提出异议?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • 如果模型出现意外行为,能否迅速停止该流程?
08机制

机制与驱动因素。

Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09方法与数据

如何研究,以及方法止于何处。

方法或数据显示内容局限
Process and decision-rights mappingWhere humans sit and what they can do正式设计可能与实际做法不同
覆盖分析人类为何以及如何与模型产生分歧需要完善的日志记录
人因研究自动化偏差 与工作负荷效应实验室研究结果可能无法推广
事件复盘Failures of oversight事件存在漏报
10方法

如何研究,以及方法无法说明的内容。

  1. AI 评估与保证工程机器学习模型验证 · 生成式人工智能红队测试 · 公平性评估在此应用
  2. 人工智能与机器学习梯度提升信用模型 · 运营中的语言模型 · 异常检测在此应用
  3. 概率与统计校准检验 · 漂移统计量 · 群体结果比较在此应用
12问题

问题与解答。

什么是自动化偏差?
人们过度依赖自动化建议的倾向,即使建议有误,也在未经充分审视的情况下予以接受。
Does a human reviewer make a decision lawful?
其本身并不足够。审查必须是有实质意义的,具备改变结果的时间、信息和权限,且企业仍须承担法律义务。
为何要分析人工干预(覆盖)?
因为它们的发生频率和结果表明模型在哪些方面薄弱,以及人为判断是改进了决策还是增加了不一致性。
是否始终需要人工审核?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
该平台是否制定监督标准?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

全球风险联盟(Global Risks Alliance)人工智能与金融模型风险方法与技术指数级技术
人工智能与金融模型风险

向联盟提出风险暴露或资本问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。