Validation of machine learning models
概念合理性、 数据质量、结果分析和稳定性测试均经调整,以适用于内部逻辑难以解读的模型。
AI 评估与保证工程开发相关方法,用于测试、监测并为 AI 系统提供有据可依的信心。它涵盖整个系统生命周期中的性能、稳健性、安全和社会影响。在人工智能与金融稳定领域,AI 保证决定自动化系统能否在高后果情境中获得信任。当 AI 嵌入金融、卫生和基础设施各领域时,它有助于管理相关风险。规范性描述见 STEM Commons.
概念合理性、 数据质量、结果分析和稳定性测试均经调整,以适用于内部逻辑难以解读的模型。
Adversarial tests probe language model applications for prompt injection, data leakage and harmful output before and after deployment.
各群体之间比较结果率和错误率,并记录所选公平性标准及其法律依据,以供审查。
风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。
How a shock in AI evaluation and assurance engineering for AI and financial model risk reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
| 数据 | 角色 | 标签 |
|---|---|---|
| 验证报告 | 保证证据 | 已声明 |
| 红队测试结果 | Adversarial weaknesses | 观测 |
| 成果数据 | 实际表现 | 观测 |
Process explorer · Process
9 steps·5 stages·1 gate
流程
AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。
对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。
评估方法会接受可靠性及与部署条件相关性的检验。独立复现和第三方审计用于检验各项论断。
| 核查 | 如何开展 |
|---|---|
| 独立性 | 保证工作由独立于开发的人员执行 |
| 已说明范围 | 记录鉴证所涵盖和排除的内容 |
| 变更后重复进行 | 模型或版本发生重大变更时须重新进行保证 |
基准测试可能无法反映真实使用情况或新出现的能力。通用系统的行为是开放式的,难以进行完整测试。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。