定量模型验证:风险如何发展。
回溯测试、基准比较和挑战者模型。下方档案说明风险如何发展、衡量什么、数据来自何处、如何建模以及由谁决定。
回溯测试需要时间
对于长尾和罕见风险,将预测与结果对比需要数年,因此在此期间验证依赖其他检验。
独立性与技能
验证人员必须理解所用方法,并有权要求变更。独立性薄弱会使验证沦为确认。
Code is part of the model
Errors in spreadsheets and code have caused large losses. Implementation testing, version control and reproducibility are part of validation.
风险暴露、危害与超越概率曲线。
哪些地方在严重年份造成损失,以及损失向再保险蔓延的程度。示意性设计数值。
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| Models validated in cycle | 按层级划分的份额 | 年度 | 验证记录 | 已声明 |
| 按严重程度划分的验证发现 | 计数 | 年度 | 验证记录 | 已声明 |
| 实际与预期结果对比 | 比率 | 年度 | 经验监测 | 估算 |
| 准备金赔付进展偏差 | 百分比 | 年度 | 法定准备金的发展 | 已发布统计 |
| 发现的实施错误 | 计数 | 年度 | 验证与审计记录 | 已声明 |
| 具有可复现代码和数据的模型 | 占比 | 定期 | 模型文档 | 已声明 |
Trace a shock in quantitative model validation to the balance sheet.
Assembled from the Nexus Standards area profile Insurance and reinsurance: the shocks it names, the systems and sectors that carry the loss, the controls that dampen it and the data that observe it. Pick an initiating shock and step through the cascade to see which exposures it reaches and where losses could concentrate. The Map view places the run on an example geography with open data. Every weight is a stated assumption. An exercise, not a forecast, a valuation, a rating or investment advice. To model a place of your own choosing, open the full System Builder.
灾害
- 热带气旋
- 地震
- 冰塞洪水
- 野火
- 风暴潮(在下游引发)
- 强降雨(在下游引发)
- 河流洪水(在下游引发)
- Flash flood (set off downstream)
- 危险海浪(在下游引发)
- 大范围停电(在下游引发)
- 大规模流离失所(在下游引发)
- 沿海洪水(在下游引发)
- Aftershock sequence (set off downstream)
- Fault surface rupture (set off downstream)
- Soil liquefaction (set off downstream)
- Slope slide (set off downstream)
- Rockfall (set off downstream)
- Tsunami (set off downstream)
控制措施
NS-0章程与原则NS-3风险记录 UNI(语法、旧编码对照、分配机构)NS-9情境 UNI(部署、实例、计划实例)NS-10政策和条款(机器可读的义务:定义、约束、评估和执行)NS-11验证与监测(证据、证明、零信任符合性观测)NS-14符合性及与外部标准的对照NRS-F3保险、巨灾风险与保护缺口NRS-H113危害类别:金融体系脆弱性(NHS-1 soc.financial-system)NRS-U17Universe 平台概况:Insurance NexusNRS-H71危害类别:深时与宇宙灾难(NHS-1 planet.deep-time)NRS-H65危害类别:超越行星边界(NHS-1 planet.boundary)NRS-F8参数化与指数型风险转移
观测
- OECD Data Explorer (incl. Creditor Reporting System, insurance and pension statistics) (listed for reference)
- Insurance statistics (listed for reference)
- USGS earthquake GeoJSON summary feeds (listed for reference)
- Direct economic loss attributed to disasters in relation to global gross domestic product (GDP)
- Direct economic loss attributed to disasters in relation to global gross domestic product
- (a) Number of commercial bank branches per 100,000 adults and (b) number of automated teller machines (ATMs) per 100,000 adults
示例地理范围
- 西欧:152 个六边形网格
- 过去半小时降雨率(IMERG),NASA GIBS
- 今夜夜间灯光与停电(VIIRS 昼夜波段),NASA GIBS
- 穿透云层的地表水,30 m(OPERA DSWx-S1 雷达),NASA GIBS
- Carbon monoxide, smoke transport (AIRS), NASA GIBS
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| IAA 关于模型的 ISAP(ISAP 1A) | 精算师模型治理标准 | Free, IAA terms |
| Actuarial Standards Board ASOP on modelling | 美国精算模型标准 | 免费,ASB 条款 |
| 财务报告委员会《技术精算准则》(Financial Reporting Council Technical Actuarial Standards) | 英国标准,包括模型 | Free, FRC terms |
| EIOPA 内部模型验证指南 | Supervisory expectations | 免费,欧盟再利用条款 |
| 法定损失进展数据 | 用于回溯检验的准备金滚动结清数据 | Public records, terms per supervisor |
What quantitative model validation means for exposure, loss and capital.
风险官、监管者或财政部会要求的风险暴露、损失、情景和资本视图,以及它们据以报告的框架。结构遵循监管和精算实务。数值为说明性:绝非价格、评级或建议。
各重现期的风险暴露与损失
定量模型验证损失如何随严重程度增长,包括再保险前(总额)和再保险后(净额),并与资本对照。
| 重现期 | 年概率 | 总损失 | 净损失 | 净额,资本 = 100 |
|---|---|---|---|---|
| 1/10(10 年一遇) | 0.10 | 14 | 10 | 10 |
| 1/50(50 年一遇) | 0.02 | 33 | 21 | 21 |
| 1/100(100 年一遇) | 0.01 | 46 | 27 | 27 |
| 1/250(250 年一遇) | 0.004 | 68 | 39 | 39 |
| 年均损失 | 3.1 | 2.2 | 2.2 |
由谁决定,以及证据服务于什么。
精算与定量风险负责准备证据。以下决定由所指定的主管机构依其自身规则作出,绝不由平台作出。
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| Validation functions | 模型是否适合其预期用途 | Test results and findings |
| Chief actuaries and model owners | 哪些发现需要整改以及如何整改 | 发现与影响分析 |
| 监管机构 | 验证是否符合标准 | 验证报告 |
| 审计委员会 | Whether validation is independent and effective | 治理记录 |
该主题产生的产出
- 精算和量化模型验证指南
- Method note on reserve back-testing
- 关于实施风险与可复现性的简报
- Questions for boards on validation independence
专家提出的问题。
- Is the model’s theory and design appropriate for its purpose?
- Is it implemented correctly, and do results reproduce?
- How do its predictions compare with outcomes that were not used to build it?
- 结果与替代模型和外部基准相比如何?
- 在哪些条件下模型会失效?
What validation examines.
Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.
回溯测试将预测与实际结果进行比较,例如损失超出风险价值估计的次数。对于罕见事件模型,回溯测试的效力很低,因为所关注的事件很少发生。基准比较则将结果与替代模型、行业研究或外部数据进行对比。采用不同假设或方法构建的挑战者模型,可以揭示结果在多大程度上取决于建模选择。
Sensitivity analysis and stress testing explore how outputs change with inputs and assumptions, identifying the drivers that matter most. Reproducibility, the ability to re-run a model and obtain the same result from the same inputs, is a basic requirement that versioned code and data make possible.
Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.
方法及其局限。
结果分析
Comparing predictions with realised outcomes; weak for rare events.
Challenger models
Comparing with alternatives to reveal model dependence.
敏感性分析
识别驱动因素和失效条件。
局限:验证可以表明模型并非明显有误,但不能证明模型正确,对于罕见事件和不断变化的条件尤其如此。
问题与解答。
验证检查什么?
什么是储备回溯测试?
Why does code matter for validation?
GRA 是否验证模型?
Can a validated model still fail?
为什么挑战者模型有用?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件门户 GW-GRA从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告全球风险联盟(Global Risks Alliance)查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。