GRA · Risque lié à l'IA et aux modèles financiers
Spatial financeWhere capital meets hazard, exposure and transition
Suivi des modèles et dérive
Un modèle validé au lancement peut échouer par la suite, à mesure que les clients, les produits, les marchés et les chaînes de données évoluent. Le suivi porte sur la performance, la distribution des données d'entrée et les résultats afin de détecter la dérive et de déclencher un réexamen. Les modèles d'apprentissage automatique réentraînés fréquemment ajoutent leurs propres risques. Cette page expose comment la dérive survient, comment le suivi la détecte, les mesures employées, et qui décide quand un modèle doit être modifié ou arrêté.
Model monitoring and drift on the record.
Model monitoring and drift: how the risk develops.
Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Dérive des données
La distribution des entrées évolue à mesure que de nouveaux segments de clientèle apparaissent, que les produits changent ou que des systèmes en amont modifient des champs. Le modèle rencontre des données sur lesquelles il n'a pas été entraîné.
Dérive conceptuelle
La relation entre les intrants et les résultats change, par exemple lorsqu'un choc économique modifie la population des défaillants. La précision diminue même si les intrants semblent stables.
Outcomes arrive late
Les défauts et les sinistres apparaissent des mois ou des années après les décisions, de sorte que la performance réelle n'est connue que tardivement. Des indicateurs indirects et avancés comblent cet écart avec de l'incertitude.
Retraining adds risk
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
What model monitoring and drift means for exposure, loss and capital.
Les vues d'exposition, de pertes, de scénarios et de capital que demanderaient un responsable des risques, une autorité de contrôle ou un ministère des finances, avec les cadres dont ils relèvent pour leurs rapports. Les structures suivent la pratique prudentielle et actuarielle. Les valeurs sont illustratives : jamais des prix, des notations ni des conseils.
Canaux de transmission
Comment un choc dans la surveillance des modèles et la dérive atteint les risques de crédit, de marché, de souscription, de liquidité et opérationnel, puis rétroagit.
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Population stability index by input | sans dimension | mensuel | Suivi | ESTIMÉ |
| Performance par rapport à la base de référence de validation | change in discrimination or calibration | mensuelle ou trimestrielle | Suivi | ESTIMÉ |
| Alertes de surveillance dépassant les seuils | nombre | mensuel | Registres de suivi | OBSERVÉ |
| Modèles réentraînés sur la période | nombre | trimestriel | Model records | DÉCLARÉ |
| Incidents de chaîne de données affectant les modèles | nombre | trimestriel | Registres d'incidents | DÉCLARÉ |
| Time from alert to remediation | jours | per alert | Registres de gouvernance | OBSERVÉ |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| PRA SS1/23 principles on model monitoring | Attentes en matière de suivi continu de la performance | Gratuit, conditions de la Banque d'Angleterre |
| SR 11-7 sur le suivi continu et l'analyse des résultats | United States expectations | Domaine public |
| EBA guidelines on loan origination and monitoring | Monitoring of automated credit models | Gratuit, conditions de réutilisation de l'UE |
| Recherche universitaire sur le décalage de distribution des données | Methods for detecting and adapting to drift | Accès libre en lecture, conditions selon l'éditeur |
| Bank Pillar 3 model back-testing disclosures | Back-testing results for capital models | Documents publics, conditions propres à chaque banque |
Qui décide, et à quoi servent les données probantes.
Risque lié à l'IA et risque de modèle prépare les données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Propriétaires de modèles | Quand recalibrer, redévelopper ou retirer un modèle | Monitoring results against thresholds |
| Fonctions du risque de modèle | What monitoring standards apply by tier | Policy and monitoring evidence |
| Superviseurs | Si le suivi est adéquat pour les modèles de capital et de conduite | Résultats des tests rétrospectifs et de l'examen |
| Propriétaires des données | Comment les modifications en amont sont contrôlées | Registres d'incidents sur les pipelines |
Résultats que produit ce thème
- Guide de la dérive des données et de la dérive conceptuelle
- Note méthodologique sur les seuils de suivi et les alertes
- Note sur les contrôles applicables aux modèles réentraînés fréquemment
- Questions for model owners on late-arriving outcomes
Ce que se demandent les experts.
Monitoring questions ask how soon a problem will be seen.
- Quelles mesures de performance sont suivies, et à quelle fréquence ?
- Avec quelle rapidité les résultats, tels que les défauts de paiement ou les sinistres, sont-ils observés, et que comble l'intervalle entre-temps ?
- La distribution des données d'entrée a-t-elle évolué, et est-ce important ?
- What thresholds trigger review, recalibration or withdrawal, and who set them?
- How are continuously retrained models governed?
Mécanismes et facteurs.
Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Comment c'est étudié, et où les méthodes s'arrêtent.
| Méthode ou données | Ce qu'il montre | Limites |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | Outcomes arrive with delay |
| Distribution shift statistics | Modifications des données d'entrée | Un changement n'entraîne pas toujours une perte de performance |
| Modèles de référence et modèles concurrents | Performance relative | Challengers share some data limitations |
| Cadres de seuils et d'alerte | Quand faire remonter le dossier | Les seuils relèvent du jugement |
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Probabilités et statistiquesTests d'étalonnage · Statistiques de dérive · Comparaison des résultats entre groupesAppliqué ici
- 02Quantification de l'incertitude et validation des modèlesIntervalles de prédiction pour les modèles de pertes · Ensembles de modèles · Capital ou coussins pour risque de modèleAppliqué ici
- 03Intelligence artificielle et apprentissage automatiqueModèles de crédit à gradient boosting · Modèles de langage dans les opérations · Détection des anomaliesAppliqué ici
- 04Ingénierie de l'évaluation et de l'assurance de l'IAValidation des modèles d'apprentissage automatique · Tests adversariaux de l'IA générative · Évaluation de l'équitéAppliqué ici
Questions et réponses.
What is the difference between data drift and concept drift?
Qu'est-ce qu'un indice de stabilité de la population ?
Les modèles doivent-ils se réentraîner automatiquement ?
Pourquoi la dérive conceptuelle est-elle difficile à détecter ?
Le réentraînement automatique est-il une solution ?
Does the platform monitor firms’ models?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GRAL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Soumettez une question d'exposition ou de capital à l'Alliance.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.