Skip to content

GRA · Risque lié à l'IA et aux modèles financiers

Spatial financeWhere capital meets hazard, exposure and transition

Suivi des modèles et dérive

Un modèle validé au lancement peut échouer par la suite, à mesure que les clients, les produits, les marchés et les chaînes de données évoluent. Le suivi porte sur la performance, la distribution des données d'entrée et les résultats afin de détecter la dérive et de déclencher un réexamen. Les modèles d'apprentissage automatique réentraînés fréquemment ajoutent leurs propres risques. Cette page expose comment la dérive survient, comment le suivi la détecte, les mesures employées, et qui décide quand un modèle doit être modifié ou arrêté.

01Registre

Model monitoring and drift on the record.

02La question

Model monitoring and drift: how the risk develops.

Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mécanisme

Dérive des données

La distribution des entrées évolue à mesure que de nouveaux segments de clientèle apparaissent, que les produits changent ou que des systèmes en amont modifient des champs. Le modèle rencontre des données sur lesquelles il n'a pas été entraîné.

Mécanisme

Dérive conceptuelle

La relation entre les intrants et les résultats change, par exemple lorsqu'un choc économique modifie la population des défaillants. La précision diminue même si les intrants semblent stables.

Mécanisme

Outcomes arrive late

Les défauts et les sinistres apparaissent des mois ou des années après les décisions, de sorte que la performance réelle n'est connue que tardivement. Des indicateurs indirects et avancés comblent cet écart avec de l'incertitude.

Mécanisme

Retraining adds risk

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03Exposition, perte et capital

What model monitoring and drift means for exposure, loss and capital.

Les vues d'exposition, de pertes, de scénarios et de capital que demanderaient un responsable des risques, une autorité de contrôle ou un ministère des finances, avec les cadres dont ils relèvent pour leurs rapports. Les structures suivent la pratique prudentielle et actuarielle. Les valeurs sont illustratives : jamais des prix, des notations ni des conseils.

Canaux de transmission

Comment un choc dans la surveillance des modèles et la dérive atteint les risques de crédit, de marché, de souscription, de liquidité et opérationnel, puis rétroagit.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Scénarios climatiques du NGFS · Réseau pour le verdissement du système financierIFRS S2 Informations à fournir en lien avec les changements climatiques · ISSBRecommandations de la TCFD · TCFD du Conseil de stabilité financièrePrincipes pour une gestion efficace des risques financiers liés au climat · Comité de Bâle sur le contrôle bancaire
04Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Population stability index by inputsans dimensionmensuelSuiviESTIMÉ
Performance par rapport à la base de référence de validationchange in discrimination or calibrationmensuelle ou trimestrielleSuiviESTIMÉ
Alertes de surveillance dépassant les seuilsnombremensuelRegistres de suiviOBSERVÉ
Modèles réentraînés sur la périodenombretrimestrielModel recordsDÉCLARÉ
Incidents de chaîne de données affectant les modèlesnombretrimestrielRegistres d'incidentsDÉCLARÉ
Time from alert to remediationjoursper alertRegistres de gouvernanceOBSERVÉ
05Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
PRA SS1/23 principles on model monitoringAttentes en matière de suivi continu de la performanceGratuit, conditions de la Banque d'Angleterre
SR 11-7 sur le suivi continu et l'analyse des résultatsUnited States expectationsDomaine public
EBA guidelines on loan origination and monitoringMonitoring of automated credit modelsGratuit, conditions de réutilisation de l'UE
Recherche universitaire sur le décalage de distribution des donnéesMethods for detecting and adapting to driftAccès libre en lecture, conditions selon l'éditeur
Bank Pillar 3 model back-testing disclosuresBack-testing results for capital modelsDocuments publics, conditions propres à chaque banque
06Décisions

Qui décide, et à quoi servent les données probantes.

Risque lié à l'IA et risque de modèle prépare les données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Propriétaires de modèlesQuand recalibrer, redévelopper ou retirer un modèleMonitoring results against thresholds
Fonctions du risque de modèleWhat monitoring standards apply by tierPolicy and monitoring evidence
SuperviseursSi le suivi est adéquat pour les modèles de capital et de conduiteRésultats des tests rétrospectifs et de l'examen
Propriétaires des donnéesComment les modifications en amont sont contrôléesRegistres d'incidents sur les pipelines

Résultats que produit ce thème

  • Guide de la dérive des données et de la dérive conceptuelle
  • Note méthodologique sur les seuils de suivi et les alertes
  • Note sur les contrôles applicables aux modèles réentraînés fréquemment
  • Questions for model owners on late-arriving outcomes
07Questions essentielles

Ce que se demandent les experts.

Monitoring questions ask how soon a problem will be seen.

  • Quelles mesures de performance sont suivies, et à quelle fréquence ?
  • Avec quelle rapidité les résultats, tels que les défauts de paiement ou les sinistres, sont-ils observés, et que comble l'intervalle entre-temps ?
  • La distribution des données d'entrée a-t-elle évolué, et est-ce important ?
  • What thresholds trigger review, recalibration or withdrawal, and who set them?
  • How are continuously retrained models governed?
08Mécanismes

Mécanismes et facteurs.

Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09Méthodes et données

Comment c'est étudié, et où les méthodes s'arrêtent.

Méthode ou donnéesCe qu'il montreLimites
Performance tracking against outcomesAccuracy and calibration over timeOutcomes arrive with delay
Distribution shift statisticsModifications des données d'entréeUn changement n'entraîne pas toujours une perte de performance
Modèles de référence et modèles concurrentsPerformance relativeChallengers share some data limitations
Cadres de seuils et d'alerteQuand faire remonter le dossierLes seuils relèvent du jugement
11Questions

Questions et réponses.

What is the difference between data drift and concept drift?
Data drift is a change in the distribution of inputs; concept drift is a change in how inputs relate to outcomes. Either can reduce model accuracy.
Qu'est-ce qu'un indice de stabilité de la population ?
A measure comparing the distribution of a variable or score between two periods, used to detect shifts in the population a model scores.
Les modèles doivent-ils se réentraîner automatiquement ?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
Pourquoi la dérive conceptuelle est-elle difficile à détecter ?
Parce qu'elle suppose des changements dans la relation entre les intrants et les résultats, et que des résultats tels que les défauts de paiement peuvent n'être connus que longtemps après la prise des décisions.
Le réentraînement automatique est-il une solution ?
Cela peut aider, mais exige une gouvernance : les modèles réentraînés peuvent absorber des erreurs, des biais ou des conditions temporaires, et doivent toujours être testés et approuvés.
Does the platform monitor firms’ models?
No. GRA does not monitor, validate or approve any model.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Risque lié à l'IA et aux modèles financiers

Soumettez une question d'exposition ou de capital à l'Alliance.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.