Human in the loop controls: how the risk develops.
权限与批准。下方档案阐述风险如何发展、衡量什么、数据来自何处、如何建模以及由谁决定。
自动化偏差
Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.
Reviewers lack context
若缺少解释、置信度评分以及对底层数据的访问,审核人员无法判断何时应予推翻,因此很少这样做。
Accountability must stay with people
法规和治理将责任分配给具名的个人和董事会。把决策委托给模型并不等于委托问责。
Overrides teach the system
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
人在回路控制对风险暴露、损失和资本意味着什么。
风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。
传导渠道
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| 人工否决率 | 模型建议被人工否决的比例 | 每月 | 决定记录 | 观测 |
| 覆盖操作的结果 | 被人工推翻的决策与未被推翻的决策的表现对比 | 每季度 | 决策与结果记录 | 估算 |
| Review time per case | 分钟 | 每月 | 工作流数据 | 观测 |
| Decisions fully automated | 决策占比 | 每季度 | 过程记录 | 已声明 |
| 每项模型用途均有指定的问责责任人 | share of uses | 年度 | 治理记录 | 已声明 |
| 客户对自动化决策的申诉 | 获维持的数量和占比 | 每季度 | 投诉数据 | 已报告 |
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Legal expectations for oversight design | 免费,欧盟再利用条款 |
| GDPR 关于自动化个人决策的规定 | Rights concerning solely automated decisions | 免费,欧盟再利用条款 |
| 英国高级管理人员与认证制度文件 | 英国金融机构中的个人问责 | Free, FCA and PRA terms |
| Research on automation bias in decision support | Evidence on human reliance on automated advice | 可免费阅读,条款依出版方而定 |
| IAIS Application Paper on the supervision of AI | Accountability expectations for insurers | 免费,IAIS 条款 |
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| 董事会和高级管理人员 | 哪些决策必须保留人的判断,以及由谁负责 | 使用风险、法律义务和人工干预证据 |
| Operations leaders | How reviewers are resourced and informed | 工作流程、时间和人工覆盖数据 |
| 监管机构 | Whether oversight arrangements meet legal requirements | 过程设计与成果证据 |
| 模型风险函数 | How override data feed model review | 人工覆盖与结果分析 |
该主题产生的产出
- 设计有意义的人工审查指南
- Method note on analysing overrides and their outcomes
- 关于决策自动化时问责问题的简报
- Questions for boards on where judgement must remain human
- At which points in the process does a person review, and with what authority?
- 审查人员是否有足够的信息和时间对模型提出异议?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- 如果模型出现意外行为,能否迅速停止该流程?
机制与驱动因素。
Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
如何研究,以及方法止于何处。
| 方法或数据 | 显示内容 | 局限 |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | 正式设计可能与实际做法不同 |
| 覆盖分析 | 人类为何以及如何与模型产生分歧 | 需要完善的日志记录 |
| 人因研究 | 自动化偏差 与工作负荷效应 | 实验室研究结果可能无法推广 |
| 事件复盘 | Failures of oversight | 事件存在漏报 |
本页在整个联合体中通向何处。
问题与解答。
什么是自动化偏差?
Does a human reviewer make a decision lawful?
为何要分析人工干预(覆盖)?
是否始终需要人工审核?
该平台是否制定监督标准?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件门户 GW-GRA从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告全球风险联盟(Global Risks Alliance)查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。