Skip to content

GRA · Risque actuariel et quantitatif

Spatial financeWhere capital meets hazard, exposure and transition

Validation de modèles quantitatifs

Quantitative models for pricing, reserving, capital and risk must be shown fit for purpose before they are relied on. Validation tests data, methods, assumptions, implementation and outcomes, and is carried out by people independent of development under professional and supervisory standards. This page sets out how quantitative model validation works, where it falls short, the evidence it uses and who decides.

01Registre

Validation quantitative des modèles sur la base du dossier.

02La question

Quantitative model validation: how the risk develops.

Rétrotests, étalonnage et modèles concurrents. Le dossier ci-dessous expose comment le risque évolue, ce qui est mesuré, d'où viennent les données, comment elles sont modélisées et qui décide.

Mécanisme

Validation covers the whole model

Data quality, conceptual soundness, implementation, assumptions and outcomes all need testing. Checking only outputs misses errors that cancel or hide.

Mécanisme

Le test rétrospectif demande du temps

Comparing predictions with outcomes takes years for long-tail and rare risks, so validation relies on other tests in the meantime.

Mécanisme

Indépendance et compétence

Validators must understand the methods and have authority to require changes. Weak independence turns validation into confirmation.

Mécanisme

Code is part of the model

Des erreurs dans les tableurs et le code ont causé de lourdes pertes. Les tests de mise en œuvre, le contrôle de version et la reproductibilité font partie de la validation.

03Spatial finance

Exposition, aléa et courbe de dépassement.

Quels lieux génèrent les pertes lors d'une année sévère, et jusqu'où elles remontent dans la réassurance. Valeurs de conception illustratives.

Exposition côtière dans les zones de cyclones et de séismes, à côté de la courbe de pertes qu'elle produit.Valeurs de conception illustratives, ni un résultat de modèle ni un prix.
04Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Models validated in cycleshare by tierannuelDossiers de validationDÉCLARÉ
Constats de validation par graviténombreannuelDossiers de validationDÉCLARÉ
Actual-to-expected resultsratioannuelExperience monitoringESTIMÉ
Écart d'écoulement des réservespour centannuelÉvolution des réserves réglementairesStatistiques publiées
Erreurs de mise en œuvre détectéesnombreannuelEnregistrements de validation et d'auditDÉCLARÉ
Modèles avec code et données reproductiblespartpériodiqueDocumentation du modèleDÉCLARÉ
05Simulateur de jumeau et de cascade

Trace a shock in quantitative model validation to the balance sheet.

Assembled from the Nexus Standards area profile Insurance and reinsurance: the shocks it names, the systems and sectors that carry the loss, the controls that dampen it and the data that observe it. Pick an initiating shock and step through the cascade to see which exposures it reaches and where losses could concentrate. The Map view places the run on an example geography with open data. Every weight is a stated assumption. An exercise, not a forecast, a valuation, a rating or investment advice. To model a place of your own choosing, open the full System Builder.

Aléas

  • cyclones tropicaux
  • Séisme
  • Inondation par embâcle
  • Feu de forêt
  • Onde de tempête (déclenchée en aval)
  • Précipitations intenses (déclenchées en aval)
  • Crue fluviale (déclenchée en aval)
  • Flash flood (set off downstream)
  • Houle dangereuse (déclenchée en aval)
  • Panne d'électricité généralisée (déclenchée en aval)
  • Déplacements massifs (déclenchés en aval)
  • Inondation côtière (déclenchée en aval)
  • Aftershock sequence (set off downstream)
  • Fault surface rupture (set off downstream)
  • Soil liquefaction (set off downstream)
  • Slope slide (set off downstream)
  • Rockfall (set off downstream)
  • Tsunami (set off downstream)

Commandes

  • NS-0 Constitution et principes
  • NS-3 UNI des enregistrements de risque (grammaire, table de correspondance héritée, autorité d'attribution)
  • NS-9 UNI contextuels (déploiements, instances, instances de programme)
  • NS-10 Politiques et clauses (obligations lisibles par machine : définition, caractère contraignant, évaluation et application)
  • NS-11 Vérification et suivi (éléments probants, attestations, observation de la conformité zero trust)
  • NS-14 Conformité et correspondance avec les normes externes
  • NRS-F3 Assurance, risque de catastrophe et déficits de protection
  • NRS-H113 Famille d'aléas : fragilité du système financier (NHS-1 soc.financial-system)
  • NRS-U17Profil de plateforme Universe : Insurance Nexus
  • NRS-H71 Famille d'aléas : catastrophes cosmiques et des temps géologiques (NHS-1 planet.deep-time)
  • NRS-H65 Famille d'aléas : dépassement des limites planétaires (NHS-1 planet.boundary)
  • NRS-F8 Transfert de risque paramétrique et indiciel

Observation

  • OECD Data Explorer (incl. Creditor Reporting System, insurance and pension statistics) (listed for reference)
  • Insurance statistics (listed for reference)
  • USGS earthquake GeoJSON summary feeds (listed for reference)
  • Direct economic loss attributed to disasters in relation to global gross domestic product (GDP)
  • Direct economic loss attributed to disasters in relation to global gross domestic product
  • (a) Number of commercial bank branches per 100,000 adults and (b) number of automated teller machines (ATMs) per 100,000 adults

Géographie d'exemple

  • Europe occidentale : 152 cellules hexagonales
  • Intensité des précipitations, dernière demi-heure (IMERG), NASA GIBS
  • Lumières nocturnes de ce soir, pannes (VIIRS Day/Night Band), NASA GIBS
  • Eaux de surface à travers les nuages, 30 m (radar OPERA DSWx-S1), NASA GIBS
  • Carbon monoxide, smoke transport (AIRS), NASA GIBS
06Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
ISAP de l'IAA sur les modèles (ISAP 1A)Norme de gouvernance des modèles pour les actuairesFree, IAA terms
Actuarial Standards Board ASOP on modellingUnited States standard for actuarial modelsGratuit, conditions de l'ASB
Normes actuarielles techniques du Financial Reporting CouncilUK standards including modelsFree, FRC terms
Lignes directrices de l'EIOPA sur la validation des modèles internesSupervisory expectationsGratuit, conditions de réutilisation de l'UE
Données réglementaires de développement des sinistresRun-off des réserves pour le test rétrospectifPublic records, terms per supervisor
07Exposition, perte et capital

Ce que la validation quantitative des modèles signifie pour l'exposition, les pertes et les fonds propres.

Les vues d'exposition, de pertes, de scénarios et de capital que demanderaient un responsable des risques, une autorité de contrôle ou un ministère des finances, avec les cadres dont ils relèvent pour leurs rapports. Les structures suivent la pratique prudentielle et actuarielle. Les valeurs sont illustratives : jamais des prix, des notations ni des conseils.

Exposition et pertes selon les périodes de retour

How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.

1 sur 101 sur 501 sur 1001 sur 250brutnet de réassurance800
Période de retourProbabilité annuellePerte brutePerte netteNet, capital = 100
1 sur 100.10141010
1 sur 500.02332121
1 sur 1000.01462727
1 sur 2500.004683939
Perte annuelle moyenne3.12.22.2
Indice de pertes illustratif pour un portefeuille d'exemple (capital = 100) : la forme de probabilité de dépassement que lisent les assureurs et les superviseurs. Ni des données sur une institution, ni un prix, ni une notation.
Scénarios climatiques du NGFS · Réseau pour le verdissement du système financierIFRS S2 Informations à fournir en lien avec les changements climatiques · ISSBRecommandations de la TCFD · TCFD du Conseil de stabilité financièrePrincipes pour une gestion efficace des risques financiers liés au climat · Comité de Bâle sur le contrôle bancaire
08Décisions

Qui décide, et à quoi servent les données probantes.

Risque actuariel et quantitatif prépare les données probantes. Les décisions ci-dessous sont prises par les autorités désignées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Validation functionsSi les modèles sont adaptés à leur usageRésultats et constats des tests
Actuaires en chef et responsables de modèlesQuelles constatations corriger et commentFindings and impact analysis
SuperviseursWhether validation meets standardsRapports de validation
Comités d'auditWhether validation is independent and effectiveRegistres de gouvernance

Résultats que produit ce thème

  • Guide to validating actuarial and quantitative models
  • Method note on reserve back-testing
  • Note de synthèse sur le risque de mise en œuvre et la reproductibilité
  • Questions for boards on validation independence
09Questions essentielles

Les questions que se posent les experts.

  • Is the model’s theory and design appropriate for its purpose?
  • Is it implemented correctly, and do results reproduce?
  • Comment ses prédictions se comparent-elles aux résultats qui n'ont pas servi à le construire ?
  • How do results compare with alternative models and external benchmarks?
  • Dans quelles conditions le modèle cesserait-il de fonctionner ?
10Mécanismes

What validation examines.

Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.

Back-testing compares predictions with realised outcomes, for example the number of times losses exceeded a value-at-risk estimate. For rare-event models, back-testing has little power, because the events of interest seldom occur. Benchmarking compares results with alternative models, industry studies or external data. Challenger models, built with different assumptions or methods, reveal how much results depend on modelling choices.

Analyse de sensibilité et les tests de résistance examinent comment les résultats varient selon les données d'entrée et les hypothèses, et identifient les facteurs les plus déterminants. La reproductibilité, soit la capacité de relancer un modèle et d'obtenir le même résultat à partir des mêmes données, est une exigence de base que rendent possible le code et les données versionnés.

Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.

11Méthodes et données

Les méthodes et leurs limites.

Back-testing

Analyse des résultats

Comparing predictions with realised outcomes; weak for rare events.

Analyse comparative

Modèles concurrents

Comparing with alternatives to reveal model dependence.

Sensibilité

Analyse de sensibilité

Identifying drivers and failure conditions.

Limites : la validation peut montrer qu'un modèle n'est pas manifestement erroné, mais elle ne peut pas prouver qu'il est juste, en particulier pour les événements rares et les conditions changeantes.

13Questions

Questions et réponses.

What does validation check?
Données, solidité conceptuelle, hypothèses, mise en œuvre et résultats, pour juger si un modèle est adapté à l'usage prévu.
What is reserve back-testing?
Comparing past reserve estimates with how claims actually developed, to measure reserving accuracy and bias.
Why does code matter for validation?
Parce que des erreurs de mise en œuvre dans les feuilles de calcul et le code peuvent donner des résultats erronés même lorsque la méthode est solide.
La GRA valide-t-elle des modèles ?
Non. La GRA ne valide, n'approuve ni n'entérine aucun modèle. Elle publie des travaux de recherche sur les méthodes de validation.
Un modèle validé peut-il tout de même échouer ?
Yes. Validation reduces the chance of undetected errors but cannot rule out failure under conditions not seen before.
Pourquoi les modèles challengers sont-ils utiles ?
Because they show how much results depend on modelling choices, which a single model cannot reveal.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

Global Risks AllianceActuarial and Quantitative RiskMethods and TechnicalFinance and Insurance Readiness
Risque actuariel et quantitatif

Soumettez une question d'exposition ou de capital à l'Alliance.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.