Skip to content

GRA · Riesgo actuarial y cuantitativo

Spatial financeWhere capital meets hazard, exposure and transition

Validación de modelos cuantitativos

Quantitative models for pricing, reserving, capital and risk must be shown fit for purpose before they are relied on. Validation tests data, methods, assumptions, implementation and outcomes, and is carried out by people independent of development under professional and supervisory standards. This page sets out how quantitative model validation works, where it falls short, the evidence it uses and who decides.

01Registro

Validación cuantitativa de modelos sobre el registro.

02La pregunta

Quantitative model validation: how the risk develops.

Back-testing, benchmarking and challenger models. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mecanismo

Validation covers the whole model

Calidad de los datos, la solidez conceptual, la implementación, los supuestos y los resultados requieren pruebas. Comprobar solo los resultados pasa por alto errores que se compensan o se ocultan.

Mecanismo

Las pruebas retrospectivas requieren tiempo

Comparing predictions with outcomes takes years for long-tail and rare risks, so validation relies on other tests in the meantime.

Mecanismo

Independencia y destreza

Los validadores deben comprender los métodos y tener autoridad para exigir cambios. Una independencia débil convierte la validación en confirmación.

Mecanismo

Code is part of the model

Los errores en hojas de cálculo y en código han causado grandes pérdidas. Las pruebas de implementación, el control de versiones y la reproducibilidad forman parte de la validación.

03Spatial finance

Exposición, amenaza y curva de excedencia.

Qué lugares generan las pérdidas en un año severo y hasta dónde llegan en el reaseguro. Valores de diseño ilustrativos.

Exposición costera en zonas de ciclones y terremotos, junto a la curva de pérdidas que produce.Valores de diseño ilustrativos, no un resultado de modelo ni un precio.
04Indicadores

Qué se mide y con qué calidad.

Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.

IndicadorUnidadCadenciaTipo de fuenteEtiqueta
Models validated in cycleproporción por nivelanualRegistros de validaciónDECLARADO
Validation findings by severityrecuentoanualRegistros de validaciónDECLARADO
Actual-to-expected resultsrazónanualExperience monitoringESTIMADO
Desviación de la liquidación de reservaspor cientoanualConstitución de reservas legalesEstadísticas publicadas
Errores de implementación detectadosrecuentoanualRegistros de validación y auditoríaDECLARADO
Models with reproducible code and dataproporciónperiódicoDocumentación del modeloDECLARADO
05Simulador de gemelo y cascada

Trace a shock in quantitative model validation to the balance sheet.

Assembled from the Nexus Standards area profile Insurance and reinsurance: the shocks it names, the systems and sectors that carry the loss, the controls that dampen it and the data that observe it. Pick an initiating shock and step through the cascade to see which exposures it reaches and where losses could concentrate. The Map view places the run on an example geography with open data. Every weight is a stated assumption. An exercise, not a forecast, a valuation, a rating or investment advice. To model a place of your own choosing, open the full System Builder.

Amenazas

  • Ciclón tropical
  • Terremoto
  • Inundación por atasco de hielo
  • Incendio forestal
  • Marea de tormenta (desencadenada aguas abajo)
  • Lluvias intensas (desencadenadas aguas abajo)
  • Inundación fluvial (desencadenada aguas abajo)
  • Flash flood (set off downstream)
  • Oleaje peligroso (desencadenado aguas abajo)
  • Apagón generalizado (desencadenado aguas abajo)
  • Desplazamiento masivo (desencadenado aguas abajo)
  • Inundación costera (desencadenada aguas abajo)
  • Aftershock sequence (set off downstream)
  • Fault surface rupture (set off downstream)
  • Soil liquefaction (set off downstream)
  • Slope slide (set off downstream)
  • Rockfall (set off downstream)
  • Tsunami (set off downstream)

Controles

  • NS-0 Constitución y principios
  • NS-3 UNI de registros de riesgo (gramática, tabla de correspondencia heredada, autoridad de asignación)
  • NS-9 UNI contextuales (despliegues, instancias, instancias de programa)
  • NS-10 Políticas y cláusulas (obligaciones legibles por máquina: definición, carácter vinculante, evaluación y aplicación)
  • NS-11 Verificación y seguimiento (evidencia, atestaciones, observación de la conformidad de confianza cero)
  • NS-14 Conformidad y correspondencia con normas externas
  • NRS-F3 Seguros, riesgo de catástrofes y brechas de protección
  • NRS-H113 Familia de amenazas: fragilidad del sistema financiero (NHS-1 soc.financial-system)
  • NRS-U17Perfil de plataforma de Universe: Insurance Nexus
  • NRS-H71 Familia de amenazas: catástrofes cósmicas y del tiempo profundo (NHS-1 planet.deep-time)
  • NRS-H65 Familia de amenazas: transgresión de los límites planetarios (NHS-1 planet.boundary)
  • NRS-F8 Transferencia de riesgo paramétrica y basada en índices

Observación

  • OECD Data Explorer (incl. Creditor Reporting System, insurance and pension statistics) (listed for reference)
  • Insurance statistics (listed for reference)
  • USGS earthquake GeoJSON summary feeds (listed for reference)
  • Direct economic loss attributed to disasters in relation to global gross domestic product (GDP)
  • Direct economic loss attributed to disasters in relation to global gross domestic product
  • (a) Number of commercial bank branches per 100,000 adults and (b) number of automated teller machines (ATMs) per 100,000 adults

Geografía de ejemplo

  • Europa Occidental: 152 celdas hexagonales
  • Intensidad de la lluvia, última media hora (IMERG), NASA GIBS
  • Luces nocturnas de esta noche, apagones (VIIRS Day/Night Band), NASA GIBS
  • Agua superficial a través de nubes, 30 m (radar OPERA DSWx-S1), NASA GIBS
  • Carbon monoxide, smoke transport (AIRS), NASA GIBS
06Fuentes

De dónde procede la evidencia.

Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.

FuenteLo que aportaTipo de licencia
IAA ISAP on models (ISAP 1A)Norma de gobernanza de modelos para actuariosFree, IAA terms
Actuarial Standards Board ASOP on modellingNorma estadounidense para modelos actuarialesGratuito, condiciones de ASB
Technical Actuarial Standards del Financial Reporting CouncilNormas del Reino Unido, incluidos los modelosGratuito, condiciones FRC
Directrices de la EIOPA sobre la validación de modelos internosExpectativas de supervisiónGratuito, condiciones de reutilización de la UE
Statutory loss development dataRun-off de reservas para pruebas retrospectivasRegistros públicos, condiciones según cada supervisor
07Exposición, pérdida y capital

Qué significa la validación cuantitativa de modelos para la exposición, la pérdida y el capital.

Las vistas de exposición, pérdida, escenarios y capital que pediría un responsable de riesgos, un supervisor o un ministerio de finanzas, con los marcos con arreglo a los cuales informan. Las estructuras siguen la práctica supervisora y actuarial. Los valores son ilustrativos: nunca precios, calificaciones ni asesoramiento.

Exposición y pérdida por periodo de retorno

How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.

1 en 101 en 501 en 1001 en 250brutoneto de reaseguro800
Periodo de retornoProbabilidad anualPérdida brutaPérdida netaNeto, capital = 100
1 en 100.10141010
1 en 500.02332121
1 en 1000.01462727
1 en 2500.004683939
Pérdida anual media3.12.22.2
Índice de pérdidas ilustrativo para una cartera de ejemplo (capital = 100): la forma de probabilidad de excedencia que leen las aseguradoras y los supervisores. No son datos de ninguna institución, ni un precio ni una calificación.
Escenarios climáticos del NGFS · Red para la Ecologización del Sistema FinancieroNIIF S2 Información a revelar relacionada con el clima · ISSBRecomendaciones del TCFD · TCFD del Consejo de Estabilidad FinancieraPrincipios para la gestión eficaz de los riesgos financieros relacionados con el clima · Comité de Supervisión Bancaria de Basilea
08Decisiones

Quién decide y a qué sirve la evidencia.

Riesgo actuarial y cuantitativo prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.

Quién decideLa preguntaEvidencia a la que sirve esta página
Validation functionsSi los modelos son adecuados para su finalidadTest results and findings
Actuarios jefe y responsables de modelosQué hallazgos corregir y cómoFindings and impact analysis
SupervisoresWhether validation meets standardsInformes de validación
Comités de auditoríaWhether validation is independent and effectiveRegistros de gobernanza

Productos que genera este tema

  • Guía para validar modelos actuariales y cuantitativos
  • Method note on reserve back-testing
  • Brief on implementation risk and reproducibility
  • Questions for boards on validation independence
09Cuestiones centrales

Las preguntas que se plantean los expertos.

  • Is the model’s theory and design appropriate for its purpose?
  • Is it implemented correctly, and do results reproduce?
  • ¿Cómo se comparan sus predicciones con resultados que no se utilizaron para construirlo?
  • How do results compare with alternative models and external benchmarks?
  • ¿En qué condiciones fallaría el modelo?
10Mecanismos

What validation examines.

Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.

Back-testing compares predictions with realised outcomes, for example the number of times losses exceeded a value-at-risk estimate. For rare-event models, back-testing has little power, because the events of interest seldom occur. Benchmarking compares results with alternative models, industry studies or external data. Challenger models, built with different assumptions or methods, reveal how much results depend on modelling choices.

Análisis de sensibilidad y las pruebas de estrés exploran cómo cambian los resultados según los datos de entrada y los supuestos, e identifican los factores que más influyen. La reproducibilidad, es decir, la capacidad de volver a ejecutar un modelo y obtener el mismo resultado con los mismos datos de entrada, es un requisito básico que hacen posible el código y los datos versionados.

Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.

11Métodos y datos

Los métodos y sus límites.

Back-testing

Análisis de resultados

Comparing predictions with realised outcomes; weak for rare events.

Evaluación comparativa

Modelos de contraste

Comparing with alternatives to reveal model dependence.

Sensibilidad

Análisis de sensibilidad

Identificación de factores determinantes y condiciones de fallo.

Límites: la validación puede mostrar que un modelo no es manifiestamente erróneo, pero no puede demostrar que sea correcto, especialmente en el caso de eventos poco frecuentes y condiciones cambiantes.

13Preguntas

Preguntas y respuestas.

¿Qué comprueba la validación?
Data, conceptual soundness, assumptions, implementation and outcomes, to judge whether a model is fit for its intended use.
What is reserve back-testing?
Comparing past reserve estimates with how claims actually developed, to measure reserving accuracy and bias.
Why does code matter for validation?
Because implementation errors in spreadsheets and code can give wrong results even when the method is sound.
¿Valida la GRA modelos?
No. La GRA no valida, aprueba ni certifica ningún modelo. Publica investigación sobre métodos de validación.
Can a validated model still fail?
Yes. Validation reduces the chance of undetected errors but cannot rule out failure under conditions not seen before.
¿Por qué son útiles los modelos de contraste (challenger)?
Porque muestran cuánto dependen los resultados de las decisiones de modelización, algo que un único modelo no puede revelar.
InformesContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

Global Risks AllianceActuarial and Quantitative RiskMethods and TechnicalFinance and Insurance Readiness
Riesgo actuarial y cuantitativo

Plantee una cuestión de exposición o de capital a la Alliance.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.