Skip to content

GRA · 人工智能与金融模型风险

空间金融资本与危害、风险暴露和转型的交汇之处

金融领域的生成式 AI

金融机构使用大语言模型起草文件、回答客户问题、总结研究、编写代码和支持分析师。生成式人工智能能产生流畅但可能有误的输出,可能泄露数据,也可能经由其输入被操纵。本页说明金融服务中生成式人工智能风险如何产生、如何衡量和控制,以及由谁决定可在何处使用。

01画布

工作如何开展。

系统 · 围绕本主题示意

模型风险生命周期

金融领域的生成式 AI · 模型清单 · 第 7 委员会

3 项验证已逾期GRA · 人工智能与金融模型风险

生命周期

  1. 清单已注册
  2. 开发有记录
  3. 验证独立
  4. 批准委员会
  5. 实施控制措施
  6. 监测阈值
  7. 审核年度
  8. 退役退役

模型

MD-264 零售 PD第 1 级12 个月2逾期
MD-251 大语言模型投诉分流第 1 级从不0未经验证
MD-297 IFRS 9 阶段划分第 1 级5 个月2已批准
MD-784 营销倾向第 3 级6 个月1已批准

验证范围

概念合理性
进行中
结果分析
待处理
基准比较
待处理
使用限制
需要人工审核
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.

02问题

Generative AI in finance: how the risk develops.

Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

机制

流畅但错误

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

机制

输入数据可能被武器化

通过文档、电子邮件或网页进行的提示注入,可能使模型无视指令、泄露数据或采取非预期行动,在其连接工具时尤其如此。

机制

Data leaks across boundaries

输入外部服务或被检索进回答中的机密信息,可能传到无权获取的人手中。数据处理条款和访问控制决定风险暴露程度。

机制

行为随版本而变化

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03风险暴露、损失与资本

What Generative AI in finance means for exposure, loss and capital.

风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。

传导渠道

生成式 AI 在金融领域的冲击如何传导至信用、市场、承保、流动性和操作风险,并产生反馈。

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS 气候情景 · 央行与监管机构绿色金融网络IFRS S2 气候相关披露 · ISSBTCFD 建议 · 金融稳定理事会 TCFD有效管理气候相关金融风险的原则 · 巴塞尔银行监管委员会
04指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
生产环境中的生成式人工智能用例按风险等级统计数量每季度用例登记册已声明
Factual error rate on evaluation setsshare of responses每次评估内部评估估算
提示注入测试失败count per test cycle每次测试红队测试结果观测
涉及人工智能工具的数据防泄漏事件计数每月Security monitoring观测
与 AI 生成内容相关的客户投诉计数每季度投诉数据已报告
提供方对模型版本的变更计数每年供应商通知已报告
05来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
金融稳定理事会(FSB)关于人工智能对金融稳定影响的报告金融领域采用 AI 带来的脆弱性免费,FSB 条款
IOSCO 关于人工智能用例、风险和挑战的报告人工智能在资本市场中的应用免费,IOSCO 条款
NIST AI RMF 生成式人工智能概况Risks and actions specific to generative AI公有领域
OWASP 大语言模型应用十大风险(Top 10)大语言模型应用中的常见安全风险Free, CC BY-SA
Bank of England and FCA AI surveysAdoption and governance of AI in UK finance免费,英格兰银行和 FCA 条款
06决定

由谁决定,以及证据服务于什么。

AI 与金融 模型风险 负责准备证据。以下决定由所指明的主管机构依其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
董事会和执行委员会生成式人工智能可在何处使用,以及采用何种控制措施用例风险等级和评估结果
模型风险与安全职能如何验证并保护生成式 AI 的安全Evaluation, red-team and monitoring evidence
行为监管者Whether customer-facing AI meets conduct and disclosure dutiesComplaints and outcome evidence
采购和法务团队Which providers and data terms are acceptable合同条款和数据处理证据

该主题产生的产出

  • 金融服务业生成式人工智能失效模式指南
  • Method note on evaluating factual accuracy and grounding
  • 关于提示注入与工具连接型助手的简报
  • Questions for boards on generative AI use cases
07核心问题

专家提出的问题。

生成式人工智能的问题始于使用场景及其后果。

  • What is the tool being used for, and what happens if its output is wrong?
  • 在输出影响客户或决策之前,如何核实其准确性?
  • What data is sent to the model, and could confidential information leak?
  • How are prompts, versions and outputs logged for accountability?
  • 该机构对单一提供方的依赖程度如何?如果服务发生变化或失效,会出现什么情况?
08机制

机制与驱动因素。

大语言模型通过预测可能的后续内容来生成文本。它们可能生成流畅、看似合理却不真实的输出,这在要求准确的场合尤为重要。当提供方更新模型时,其行为可能发生变化,也可能被精心构造的输入所操纵。由于可能的输入空间极为庞大,其输出很难被穷尽测试。

风险在很大程度上取决于用途。起草由专业人员审核的内部摘要,与直接答复客户或为信贷决策提供信息,所涉风险不同。因此,控制措施随后果的严重程度而调整:人工审核、受限数据、从经批准的来源检索、对照已知案例测试以及对输出的监测。

09方法与数据

如何研究,以及方法止于何处。

方法或数据显示内容局限
用例 风险评估按应用划分的失效后果Informal uses may not be captured
Evaluation against test setsAccuracy and failure rates on known cases无法涵盖所有实际输入
红队演练与对抗性测试Vulnerability to manipulation能发现部分弱点,而非全部
Output monitoring and logging使用中的错误与事件细微错误难以发现
10方法

如何研究,以及方法无法说明的内容。

  1. 人工智能与机器学习梯度提升信用模型 · 运营中的语言模型 · 异常检测在此应用
  2. AI 评估与保证工程机器学习模型验证 · 生成式人工智能红队测试 · 公平性评估在此应用
  3. 不确定性量化与模型验证损失模型的预测区间 · 模型集合 · 模型风险资本或缓冲在此应用
  4. 概率与统计校准检验 · 漂移统计量 · 群体结果比较在此应用
11问题

问题与解答。

大语言模型是否属于模型风险规则下的模型?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
什么是提示注入?
一种攻击:隐藏在输入(如文档或网页)中的指令,导致语言模型忽略其预定指令或采取非预期行动。
什么是落地验证?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
为什么语言模型会产生虚假信息?
Because they generate statistically likely text rather than retrieving verified facts. Without grounding and checks, they can produce plausible but incorrect output.
Should generative AI make credit or claims decisions?
这应由机构和监管者决定。凡对人们产生重大影响之处,普遍期望有强有力的人工监督和测试。
该平台是否评估具体的 AI 产品?
不。GRA 不评估、评级或背书产品或供应商。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

全球风险联盟(Global Risks Alliance)人工智能与金融模型风险方法与技术指数级技术
人工智能与金融模型风险

向联盟提出风险暴露或资本问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。