GRA · Riesgo actuarial y cuantitativo
Spatial financeWhere capital meets hazard, exposure and transition
Validación de modelos cuantitativos
Quantitative models for pricing, reserving, capital and risk must be shown fit for purpose before they are relied on. Validation tests data, methods, assumptions, implementation and outcomes, and is carried out by people independent of development under professional and supervisory standards. This page sets out how quantitative model validation works, where it falls short, the evidence it uses and who decides.
Validación cuantitativa de modelos sobre el registro.
Quantitative model validation: how the risk develops.
Back-testing, benchmarking and challenger models. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Validation covers the whole model
Calidad de los datos, la solidez conceptual, la implementación, los supuestos y los resultados requieren pruebas. Comprobar solo los resultados pasa por alto errores que se compensan o se ocultan.
Las pruebas retrospectivas requieren tiempo
Comparing predictions with outcomes takes years for long-tail and rare risks, so validation relies on other tests in the meantime.
Independencia y destreza
Los validadores deben comprender los métodos y tener autoridad para exigir cambios. Una independencia débil convierte la validación en confirmación.
Code is part of the model
Los errores en hojas de cálculo y en código han causado grandes pérdidas. Las pruebas de implementación, el control de versiones y la reproducibilidad forman parte de la validación.
Exposición, amenaza y curva de excedencia.
Qué lugares generan las pérdidas en un año severo y hasta dónde llegan en el reaseguro. Valores de diseño ilustrativos.
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Models validated in cycle | proporción por nivel | anual | Registros de validación | DECLARADO |
| Validation findings by severity | recuento | anual | Registros de validación | DECLARADO |
| Actual-to-expected results | razón | anual | Experience monitoring | ESTIMADO |
| Desviación de la liquidación de reservas | por ciento | anual | Constitución de reservas legales | Estadísticas publicadas |
| Errores de implementación detectados | recuento | anual | Registros de validación y auditoría | DECLARADO |
| Models with reproducible code and data | proporción | periódico | Documentación del modelo | DECLARADO |
Trace a shock in quantitative model validation to the balance sheet.
Assembled from the Nexus Standards area profile Insurance and reinsurance: the shocks it names, the systems and sectors that carry the loss, the controls that dampen it and the data that observe it. Pick an initiating shock and step through the cascade to see which exposures it reaches and where losses could concentrate. The Map view places the run on an example geography with open data. Every weight is a stated assumption. An exercise, not a forecast, a valuation, a rating or investment advice. To model a place of your own choosing, open the full System Builder.
Amenazas
- Ciclón tropical
- Terremoto
- Inundación por atasco de hielo
- Incendio forestal
- Marea de tormenta (desencadenada aguas abajo)
- Lluvias intensas (desencadenadas aguas abajo)
- Inundación fluvial (desencadenada aguas abajo)
- Flash flood (set off downstream)
- Oleaje peligroso (desencadenado aguas abajo)
- Apagón generalizado (desencadenado aguas abajo)
- Desplazamiento masivo (desencadenado aguas abajo)
- Inundación costera (desencadenada aguas abajo)
- Aftershock sequence (set off downstream)
- Fault surface rupture (set off downstream)
- Soil liquefaction (set off downstream)
- Slope slide (set off downstream)
- Rockfall (set off downstream)
- Tsunami (set off downstream)
Sistemas y acoplamientos
- Seguros y reaseguro
- Banca Acoplamiento
- Instituciones de financiación del desarrollo Acoplamiento
- Ámbito humanitario y sociedad civil Acoplamiento
- Agricultura y uso de la tierra Acoplamiento
Controles
NS-0Constitución y principiosNS-3UNI de registros de riesgo (gramática, tabla de correspondencia heredada, autoridad de asignación)NS-9UNI contextuales (despliegues, instancias, instancias de programa)NS-10Políticas y cláusulas (obligaciones legibles por máquina: definición, carácter vinculante, evaluación y aplicación)NS-11Verificación y seguimiento (evidencia, atestaciones, observación de la conformidad de confianza cero)NS-14Conformidad y correspondencia con normas externasNRS-F3Seguros, riesgo de catástrofes y brechas de protecciónNRS-H113Familia de amenazas: fragilidad del sistema financiero (NHS-1 soc.financial-system)NRS-U17Perfil de plataforma de Universe: Insurance NexusNRS-H71Familia de amenazas: catástrofes cósmicas y del tiempo profundo (NHS-1 planet.deep-time)NRS-H65Familia de amenazas: transgresión de los límites planetarios (NHS-1 planet.boundary)NRS-F8Transferencia de riesgo paramétrica y basada en índices
Observación
- OECD Data Explorer (incl. Creditor Reporting System, insurance and pension statistics) (listed for reference)
- Insurance statistics (listed for reference)
- USGS earthquake GeoJSON summary feeds (listed for reference)
- Direct economic loss attributed to disasters in relation to global gross domestic product (GDP)
- Direct economic loss attributed to disasters in relation to global gross domestic product
- (a) Number of commercial bank branches per 100,000 adults and (b) number of automated teller machines (ATMs) per 100,000 adults
Geografía de ejemplo
- Europa Occidental: 152 celdas hexagonales
- Intensidad de la lluvia, última media hora (IMERG), NASA GIBS
- Luces nocturnas de esta noche, apagones (VIIRS Day/Night Band), NASA GIBS
- Agua superficial a través de nubes, 30 m (radar OPERA DSWx-S1), NASA GIBS
- Carbon monoxide, smoke transport (AIRS), NASA GIBS
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| IAA ISAP on models (ISAP 1A) | Norma de gobernanza de modelos para actuarios | Free, IAA terms |
| Actuarial Standards Board ASOP on modelling | Norma estadounidense para modelos actuariales | Gratuito, condiciones de ASB |
| Technical Actuarial Standards del Financial Reporting Council | Normas del Reino Unido, incluidos los modelos | Gratuito, condiciones FRC |
| Directrices de la EIOPA sobre la validación de modelos internos | Expectativas de supervisión | Gratuito, condiciones de reutilización de la UE |
| Statutory loss development data | Run-off de reservas para pruebas retrospectivas | Registros públicos, condiciones según cada supervisor |
Qué significa la validación cuantitativa de modelos para la exposición, la pérdida y el capital.
Las vistas de exposición, pérdida, escenarios y capital que pediría un responsable de riesgos, un supervisor o un ministerio de finanzas, con los marcos con arreglo a los cuales informan. Las estructuras siguen la práctica supervisora y actuarial. Los valores son ilustrativos: nunca precios, calificaciones ni asesoramiento.
Exposición y pérdida por periodo de retorno
How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.
| Periodo de retorno | Probabilidad anual | Pérdida bruta | Pérdida neta | Neto, capital = 100 |
|---|---|---|---|---|
| 1 en 10 | 0.10 | 14 | 10 | 10 |
| 1 en 50 | 0.02 | 33 | 21 | 21 |
| 1 en 100 | 0.01 | 46 | 27 | 27 |
| 1 en 250 | 0.004 | 68 | 39 | 39 |
| Pérdida anual media | 3.1 | 2.2 | 2.2 |
Quién decide y a qué sirve la evidencia.
Riesgo actuarial y cuantitativo prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Validation functions | Si los modelos son adecuados para su finalidad | Test results and findings |
| Actuarios jefe y responsables de modelos | Qué hallazgos corregir y cómo | Findings and impact analysis |
| Supervisores | Whether validation meets standards | Informes de validación |
| Comités de auditoría | Whether validation is independent and effective | Registros de gobernanza |
Productos que genera este tema
- Guía para validar modelos actuariales y cuantitativos
- Method note on reserve back-testing
- Brief on implementation risk and reproducibility
- Questions for boards on validation independence
Las preguntas que se plantean los expertos.
- Is the model’s theory and design appropriate for its purpose?
- Is it implemented correctly, and do results reproduce?
- ¿Cómo se comparan sus predicciones con resultados que no se utilizaron para construirlo?
- How do results compare with alternative models and external benchmarks?
- ¿En qué condiciones fallaría el modelo?
What validation examines.
Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.
Back-testing compares predictions with realised outcomes, for example the number of times losses exceeded a value-at-risk estimate. For rare-event models, back-testing has little power, because the events of interest seldom occur. Benchmarking compares results with alternative models, industry studies or external data. Challenger models, built with different assumptions or methods, reveal how much results depend on modelling choices.
Análisis de sensibilidad y las pruebas de estrés exploran cómo cambian los resultados según los datos de entrada y los supuestos, e identifican los factores que más influyen. La reproducibilidad, es decir, la capacidad de volver a ejecutar un modelo y obtener el mismo resultado con los mismos datos de entrada, es un requisito básico que hacen posible el código y los datos versionados.
Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.
Los métodos y sus límites.
Análisis de resultados
Comparing predictions with realised outcomes; weak for rare events.
Modelos de contraste
Comparing with alternatives to reveal model dependence.
Análisis de sensibilidad
Identificación de factores determinantes y condiciones de fallo.
Límites: la validación puede mostrar que un modelo no es manifiestamente erróneo, pero no puede demostrar que sea correcto, especialmente en el caso de eventos poco frecuentes y condiciones cambiantes.
Cómo se estudia y lo que los métodos no pueden decir.
- 01Matemática actuarialConstitución de reservas con triángulos de desarrollo · Composición de la prima · Valoración de rentas vitaliciasAplicado aquí
- 02Cuantificación de la incertidumbre y validación de modelosIntervalos de reservas · Incertidumbre de los parámetros y de los modelos · Clasificación de sensibilidadAplicado aquí
- 03Probabilidad y estadísticaModelos lineales generalizados en la tarificación · Credibilidad bayesiana · Pruebas de bondad de ajusteAplicado aquí
- 04Computación de alto rendimiento, en la nube y en el bordeSimulación de Monte Carlo · Control de versiones y reproducibilidad · Controles de computación de usuario finalAplicado aquí
Preguntas y respuestas.
¿Qué comprueba la validación?
What is reserve back-testing?
Why does code matter for validation?
¿Valida la GRA modelos?
Can a validated model still fail?
¿Por qué son útiles los modelos de contraste (challenger)?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GRAEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Plantee una cuestión de exposición o de capital a la Alliance.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.