工作如何开展。
模型风险生命周期
金融领域的生成式 AI · 模型清单 · 第 7 委员会
生命周期
- 清单已注册
- 开发有记录
- 验证独立
- 批准委员会
- 实施控制措施
- 监测阈值
- 审核年度
- 退役退役
模型
| MD-264 零售 PD | 第 1 级 | 12 个月 | 2 | 逾期 |
| MD-251 大语言模型投诉分流 | 第 1 级 | 从不 | 0 | 未经验证 |
| MD-297 IFRS 9 阶段划分 | 第 1 级 | 5 个月 | 2 | 已批准 |
| MD-784 营销倾向 | 第 3 级 | 6 个月 | 1 | 已批准 |
验证范围
- 概念合理性
- 进行中
- 结果分析
- 待处理
- 基准比较
- 待处理
- 使用限制
- 需要人工审核
Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.
Generative AI in finance: how the risk develops.
Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
流畅但错误
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
输入数据可能被武器化
通过文档、电子邮件或网页进行的提示注入,可能使模型无视指令、泄露数据或采取非预期行动,在其连接工具时尤其如此。
Data leaks across boundaries
输入外部服务或被检索进回答中的机密信息,可能传到无权获取的人手中。数据处理条款和访问控制决定风险暴露程度。
行为随版本而变化
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
What Generative AI in finance means for exposure, loss and capital.
风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。
传导渠道
生成式 AI 在金融领域的冲击如何传导至信用、市场、承保、流动性和操作风险,并产生反馈。
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| 生产环境中的生成式人工智能用例 | 按风险等级统计数量 | 每季度 | 用例登记册 | 已声明 |
| Factual error rate on evaluation sets | share of responses | 每次评估 | 内部评估 | 估算 |
| 提示注入测试失败 | count per test cycle | 每次测试 | 红队测试结果 | 观测 |
| 涉及人工智能工具的数据防泄漏事件 | 计数 | 每月 | Security monitoring | 观测 |
| 与 AI 生成内容相关的客户投诉 | 计数 | 每季度 | 投诉数据 | 已报告 |
| 提供方对模型版本的变更 | 计数 | 每年 | 供应商通知 | 已报告 |
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| 金融稳定理事会(FSB)关于人工智能对金融稳定影响的报告 | 金融领域采用 AI 带来的脆弱性 | 免费,FSB 条款 |
| IOSCO 关于人工智能用例、风险和挑战的报告 | 人工智能在资本市场中的应用 | 免费,IOSCO 条款 |
| NIST AI RMF 生成式人工智能概况 | Risks and actions specific to generative AI | 公有领域 |
| OWASP 大语言模型应用十大风险(Top 10) | 大语言模型应用中的常见安全风险 | Free, CC BY-SA |
| Bank of England and FCA AI surveys | Adoption and governance of AI in UK finance | 免费,英格兰银行和 FCA 条款 |
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| 董事会和执行委员会 | 生成式人工智能可在何处使用,以及采用何种控制措施 | 用例风险等级和评估结果 |
| 模型风险与安全职能 | 如何验证并保护生成式 AI 的安全 | Evaluation, red-team and monitoring evidence |
| 行为监管者 | Whether customer-facing AI meets conduct and disclosure duties | Complaints and outcome evidence |
| 采购和法务团队 | Which providers and data terms are acceptable | 合同条款和数据处理证据 |
该主题产生的产出
- 金融服务业生成式人工智能失效模式指南
- Method note on evaluating factual accuracy and grounding
- 关于提示注入与工具连接型助手的简报
- Questions for boards on generative AI use cases
专家提出的问题。
生成式人工智能的问题始于使用场景及其后果。
- What is the tool being used for, and what happens if its output is wrong?
- 在输出影响客户或决策之前,如何核实其准确性?
- What data is sent to the model, and could confidential information leak?
- How are prompts, versions and outputs logged for accountability?
- 该机构对单一提供方的依赖程度如何?如果服务发生变化或失效,会出现什么情况?
机制与驱动因素。
大语言模型通过预测可能的后续内容来生成文本。它们可能生成流畅、看似合理却不真实的输出,这在要求准确的场合尤为重要。当提供方更新模型时,其行为可能发生变化,也可能被精心构造的输入所操纵。由于可能的输入空间极为庞大,其输出很难被穷尽测试。
风险在很大程度上取决于用途。起草由专业人员审核的内部摘要,与直接答复客户或为信贷决策提供信息,所涉风险不同。因此,控制措施随后果的严重程度而调整:人工审核、受限数据、从经批准的来源检索、对照已知案例测试以及对输出的监测。
如何研究,以及方法止于何处。
| 方法或数据 | 显示内容 | 局限 |
|---|---|---|
| 用例 风险评估 | 按应用划分的失效后果 | Informal uses may not be captured |
| Evaluation against test sets | Accuracy and failure rates on known cases | 无法涵盖所有实际输入 |
| 红队演练与对抗性测试 | Vulnerability to manipulation | 能发现部分弱点,而非全部 |
| Output monitoring and logging | 使用中的错误与事件 | 细微错误难以发现 |
问题与解答。
大语言模型是否属于模型风险规则下的模型?
什么是提示注入?
什么是落地验证?
为什么语言模型会产生虚假信息?
Should generative AI make credit or claims decisions?
该平台是否评估具体的 AI 产品?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件门户 GW-GRA从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告全球风险联盟(Global Risks Alliance)查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。