GRA · Risque actuariel et quantitatif
Spatial financeWhere capital meets hazard, exposure and transition
Validation de modèles quantitatifs
Quantitative models for pricing, reserving, capital and risk must be shown fit for purpose before they are relied on. Validation tests data, methods, assumptions, implementation and outcomes, and is carried out by people independent of development under professional and supervisory standards. This page sets out how quantitative model validation works, where it falls short, the evidence it uses and who decides.
Validation quantitative des modèles sur la base du dossier.
Quantitative model validation: how the risk develops.
Rétrotests, étalonnage et modèles concurrents. Le dossier ci-dessous expose comment le risque évolue, ce qui est mesuré, d'où viennent les données, comment elles sont modélisées et qui décide.
Validation covers the whole model
Data quality, conceptual soundness, implementation, assumptions and outcomes all need testing. Checking only outputs misses errors that cancel or hide.
Le test rétrospectif demande du temps
Comparing predictions with outcomes takes years for long-tail and rare risks, so validation relies on other tests in the meantime.
Indépendance et compétence
Validators must understand the methods and have authority to require changes. Weak independence turns validation into confirmation.
Code is part of the model
Des erreurs dans les tableurs et le code ont causé de lourdes pertes. Les tests de mise en œuvre, le contrôle de version et la reproductibilité font partie de la validation.
Exposition, aléa et courbe de dépassement.
Quels lieux génèrent les pertes lors d'une année sévère, et jusqu'où elles remontent dans la réassurance. Valeurs de conception illustratives.
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Models validated in cycle | share by tier | annuel | Dossiers de validation | DÉCLARÉ |
| Constats de validation par gravité | nombre | annuel | Dossiers de validation | DÉCLARÉ |
| Actual-to-expected results | ratio | annuel | Experience monitoring | ESTIMÉ |
| Écart d'écoulement des réserves | pour cent | annuel | Évolution des réserves réglementaires | Statistiques publiées |
| Erreurs de mise en œuvre détectées | nombre | annuel | Enregistrements de validation et d'audit | DÉCLARÉ |
| Modèles avec code et données reproductibles | part | périodique | Documentation du modèle | DÉCLARÉ |
Trace a shock in quantitative model validation to the balance sheet.
Assembled from the Nexus Standards area profile Insurance and reinsurance: the shocks it names, the systems and sectors that carry the loss, the controls that dampen it and the data that observe it. Pick an initiating shock and step through the cascade to see which exposures it reaches and where losses could concentrate. The Map view places the run on an example geography with open data. Every weight is a stated assumption. An exercise, not a forecast, a valuation, a rating or investment advice. To model a place of your own choosing, open the full System Builder.
Aléas
- cyclones tropicaux
- Séisme
- Inondation par embâcle
- Feu de forêt
- Onde de tempête (déclenchée en aval)
- Précipitations intenses (déclenchées en aval)
- Crue fluviale (déclenchée en aval)
- Flash flood (set off downstream)
- Houle dangereuse (déclenchée en aval)
- Panne d'électricité généralisée (déclenchée en aval)
- Déplacements massifs (déclenchés en aval)
- Inondation côtière (déclenchée en aval)
- Aftershock sequence (set off downstream)
- Fault surface rupture (set off downstream)
- Soil liquefaction (set off downstream)
- Slope slide (set off downstream)
- Rockfall (set off downstream)
- Tsunami (set off downstream)
Systèmes et couplages
- Assurance et réassurance
- Banque Couplage
- Institutions de financement du développement Couplage
- Humanitaire et société civile Couplage
- Agriculture et utilisation des terres Couplage
Commandes
NS-0Constitution et principesNS-3UNI des enregistrements de risque (grammaire, table de correspondance héritée, autorité d'attribution)NS-9UNI contextuels (déploiements, instances, instances de programme)NS-10Politiques et clauses (obligations lisibles par machine : définition, caractère contraignant, évaluation et application)NS-11Vérification et suivi (éléments probants, attestations, observation de la conformité zero trust)NS-14Conformité et correspondance avec les normes externesNRS-F3Assurance, risque de catastrophe et déficits de protectionNRS-H113Famille d'aléas : fragilité du système financier (NHS-1 soc.financial-system)NRS-U17Profil de plateforme Universe : Insurance NexusNRS-H71Famille d'aléas : catastrophes cosmiques et des temps géologiques (NHS-1 planet.deep-time)NRS-H65Famille d'aléas : dépassement des limites planétaires (NHS-1 planet.boundary)NRS-F8Transfert de risque paramétrique et indiciel
Observation
- OECD Data Explorer (incl. Creditor Reporting System, insurance and pension statistics) (listed for reference)
- Insurance statistics (listed for reference)
- USGS earthquake GeoJSON summary feeds (listed for reference)
- Direct economic loss attributed to disasters in relation to global gross domestic product (GDP)
- Direct economic loss attributed to disasters in relation to global gross domestic product
- (a) Number of commercial bank branches per 100,000 adults and (b) number of automated teller machines (ATMs) per 100,000 adults
Géographie d'exemple
- Europe occidentale : 152 cellules hexagonales
- Intensité des précipitations, dernière demi-heure (IMERG), NASA GIBS
- Lumières nocturnes de ce soir, pannes (VIIRS Day/Night Band), NASA GIBS
- Eaux de surface à travers les nuages, 30 m (radar OPERA DSWx-S1), NASA GIBS
- Carbon monoxide, smoke transport (AIRS), NASA GIBS
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| ISAP de l'IAA sur les modèles (ISAP 1A) | Norme de gouvernance des modèles pour les actuaires | Free, IAA terms |
| Actuarial Standards Board ASOP on modelling | United States standard for actuarial models | Gratuit, conditions de l'ASB |
| Normes actuarielles techniques du Financial Reporting Council | UK standards including models | Free, FRC terms |
| Lignes directrices de l'EIOPA sur la validation des modèles internes | Supervisory expectations | Gratuit, conditions de réutilisation de l'UE |
| Données réglementaires de développement des sinistres | Run-off des réserves pour le test rétrospectif | Public records, terms per supervisor |
Ce que la validation quantitative des modèles signifie pour l'exposition, les pertes et les fonds propres.
Les vues d'exposition, de pertes, de scénarios et de capital que demanderaient un responsable des risques, une autorité de contrôle ou un ministère des finances, avec les cadres dont ils relèvent pour leurs rapports. Les structures suivent la pratique prudentielle et actuarielle. Les valeurs sont illustratives : jamais des prix, des notations ni des conseils.
Exposition et pertes selon les périodes de retour
How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.
| Période de retour | Probabilité annuelle | Perte brute | Perte nette | Net, capital = 100 |
|---|---|---|---|---|
| 1 sur 10 | 0.10 | 14 | 10 | 10 |
| 1 sur 50 | 0.02 | 33 | 21 | 21 |
| 1 sur 100 | 0.01 | 46 | 27 | 27 |
| 1 sur 250 | 0.004 | 68 | 39 | 39 |
| Perte annuelle moyenne | 3.1 | 2.2 | 2.2 |
Qui décide, et à quoi servent les données probantes.
Risque actuariel et quantitatif prépare les données probantes. Les décisions ci-dessous sont prises par les autorités désignées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Validation functions | Si les modèles sont adaptés à leur usage | Résultats et constats des tests |
| Actuaires en chef et responsables de modèles | Quelles constatations corriger et comment | Findings and impact analysis |
| Superviseurs | Whether validation meets standards | Rapports de validation |
| Comités d'audit | Whether validation is independent and effective | Registres de gouvernance |
Résultats que produit ce thème
- Guide to validating actuarial and quantitative models
- Method note on reserve back-testing
- Note de synthèse sur le risque de mise en œuvre et la reproductibilité
- Questions for boards on validation independence
Les questions que se posent les experts.
- Is the model’s theory and design appropriate for its purpose?
- Is it implemented correctly, and do results reproduce?
- Comment ses prédictions se comparent-elles aux résultats qui n'ont pas servi à le construire ?
- How do results compare with alternative models and external benchmarks?
- Dans quelles conditions le modèle cesserait-il de fonctionner ?
What validation examines.
Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.
Back-testing compares predictions with realised outcomes, for example the number of times losses exceeded a value-at-risk estimate. For rare-event models, back-testing has little power, because the events of interest seldom occur. Benchmarking compares results with alternative models, industry studies or external data. Challenger models, built with different assumptions or methods, reveal how much results depend on modelling choices.
Analyse de sensibilité et les tests de résistance examinent comment les résultats varient selon les données d'entrée et les hypothèses, et identifient les facteurs les plus déterminants. La reproductibilité, soit la capacité de relancer un modèle et d'obtenir le même résultat à partir des mêmes données, est une exigence de base que rendent possible le code et les données versionnés.
Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.
Les méthodes et leurs limites.
Analyse des résultats
Comparing predictions with realised outcomes; weak for rare events.
Modèles concurrents
Comparing with alternatives to reveal model dependence.
Analyse de sensibilité
Identifying drivers and failure conditions.
Limites : la validation peut montrer qu'un modèle n'est pas manifestement erroné, mais elle ne peut pas prouver qu'il est juste, en particulier pour les événements rares et les conditions changeantes.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Mathématiques actuariellesProvisionnement à l'aide de triangles de développement · Construction de la prime · Évaluation des rentesAppliqué ici
- 02Quantification de l'incertitude et validation des modèlesFourchettes de provisions · Incertitude des paramètres et des modèles · Classement des sensibilitésAppliqué ici
- 03Probabilités et statistiquesModèles linéaires généralisés en tarification · Crédibilité bayésienne · Tests d'adéquationAppliqué ici
- 04Calcul haute performance, en nuage et en périphérieSimulation de Monte Carlo · Contrôle de version et reproductibilité · Contrôles de l'informatique utilisateurAppliqué ici
Questions et réponses.
What does validation check?
What is reserve back-testing?
Why does code matter for validation?
La GRA valide-t-elle des modèles ?
Un modèle validé peut-il tout de même échouer ?
Pourquoi les modèles challengers sont-ils utiles ?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GRAL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Soumettez une question d'exposition ou de capital à l'Alliance.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.