GRA · Risque lié à l'IA et aux modèles financiers
Spatial financeWhere capital meets hazard, exposure and transition
Contrôles avec intervention humaine
Human oversight is meant to catch model errors, handle exceptions and keep accountability with people. In practice reviewers can defer to models, lack time or information, or be removed as automation grows. This page sets out how human-in-the-loop controls work and fail in financial services, how their effectiveness is measured, and who decides where human judgement must stay.
Les contrôles avec intervention humaine consignés au dossier.
Contrôles avec intervention humaine : comment le risque évolue.
Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Biais d'automatisation
Les évaluateurs auxquels une recommandation de modèle est présentée tendent à l'accepter, surtout sous la pression du temps ou lorsque le modèle a généralement raison. La supervision devient alors une approbation de pure forme.
Reviewers lack context
Sans explications, scores de confiance ni accès aux données sous-jacentes, les évaluateurs ne peuvent juger quand passer outre, et ils le font donc rarement.
Accountability must stay with people
Les réglementations et les structures de gouvernance attribuent la responsabilité à des personnes et à des conseils nommément désignés. Déléguer des décisions à des modèles ne délègue pas la responsabilité.
Overrides teach the system
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
Ce que signifient les contrôles avec intervention humaine pour l'exposition, les pertes et le capital.
Les vues d'exposition, de pertes, de scénarios et de capital que demanderaient un responsable des risques, une autorité de contrôle ou un ministère des finances, avec les cadres dont ils relèvent pour leurs rapports. Les structures suivent la pratique prudentielle et actuarielle. Les valeurs sont illustratives : jamais des prix, des notations ni des conseils.
Canaux de transmission
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Taux de dérogation | part des recommandations du modèle outrepassées | mensuel | Registres des décisions | OBSERVÉ |
| Résultat des dérogations | performance of overridden against non-overridden decisions | trimestriel | Registres des décisions et des résultats | ESTIMÉ |
| Review time per case | minutes | mensuel | Données de flux de travail | OBSERVÉ |
| Decisions fully automated | part des décisions | trimestriel | Registres de processus | DÉCLARÉ |
| Responsable désigné et redevable pour chaque usage de modèle | share of uses | annuel | Registres de gouvernance | DÉCLARÉ |
| Recours des clients contre les décisions automatisées | nombre et part confirmés | trimestriel | Données sur les plaintes | DÉCLARÉ |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Attentes juridiques relatives à la conception de la supervision | Gratuit, conditions de réutilisation de l'UE |
| Dispositions du RGPD relatives à la prise de décision individuelle automatisée | Rights concerning solely automated decisions | Gratuit, conditions de réutilisation de l'UE |
| Documents du régime britannique des dirigeants et de certification (Senior Managers and Certification Regime) | Responsabilité individuelle dans les sociétés financières du Royaume-Uni | Free, FCA and PRA terms |
| Recherches sur le biais d'automatisation dans l'aide à la décision | Evidence on human reliance on automated advice | Accès libre en lecture, conditions selon l'éditeur |
| IAIS Application Paper on the supervision of AI | Accountability expectations for insurers | Gratuit, conditions de l'AICA |
Qui décide, et à quoi servent les données probantes.
Risque lié à l'IA et risque de modèle prépare les données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Boards and senior managers | Les décisions qui doivent relever du jugement humain et qui en répond | Risque d'usage, obligations légales et données probantes sur les dérogations |
| Responsables des opérations | How reviewers are resourced and informed | Workflow, time and override data |
| Régulateurs | Si les dispositifs de supervision répondent aux exigences légales | Conception du processus et données probantes sur les résultats |
| Fonctions du risque de modèle | Comment les données de dérogation alimentent la revue des modèles | Override and outcome analysis |
Résultats que produit ce thème
- Guide pour concevoir un examen humain significatif
- Method note on analysing overrides and their outcomes
- Note sur la responsabilité lorsque les décisions sont automatisées
- Questions à l'intention des conseils d'administration sur les domaines où le jugement doit rester humain
Ce que se demandent les experts.
Les questions visent à établir si supervision humaine est réelle ou purement nominale.
- À quelles étapes du processus une personne intervient-elle pour examiner, et avec quelle autorité ?
- Les évaluateurs disposent-ils de l'information et du temps nécessaires pour contredire le modèle ?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- Le processus peut-il être arrêté rapidement si le modèle se comporte de façon inattendue ?
Mécanismes et facteurs.
Biais d'automatisation est la tendance à accepter les recommandations automatisées sans examen suffisant, surtout sous la pression du temps ou lorsque le système a généralement raison. Il peut réduire la révision humaine à une formalité. À l'inverse, des dérogations incohérentes peuvent introduire des biais. Une supervision efficace exige des droits de décision clairs, des informations pertinentes, une formation, une charge de travail compatible avec le jugement et l'analyse des schémas de dérogation.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
Comment c'est étudié, et où les méthodes s'arrêtent.
| Méthode ou données | Ce qu'il montre | Limites |
|---|---|---|
| Cartographie des processus et des droits de décision | Où se situent les humains et ce qu'ils peuvent faire | La conception formelle peut différer de la pratique |
| Analyse des dérogations | How and why humans disagree with models | Requires good logging |
| Recherche sur les facteurs humains | Biais d'automatisation et effets de la charge de travail | Les résultats de laboratoire peuvent ne pas être transposables |
| Incident review | Failures of oversight | Les incidents sont sous-déclarés |
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Ingénierie de l'évaluation et de l'assurance de l'IAValidation des modèles d'apprentissage automatique · Tests adversariaux de l'IA générative · Évaluation de l'équitéAppliqué ici
- 02Intelligence artificielle et apprentissage automatiqueModèles de crédit à gradient boosting · Modèles de langage dans les opérations · Détection des anomaliesAppliqué ici
- 03Probabilités et statistiquesTests d'étalonnage · Statistiques de dérive · Comparaison des résultats entre groupesAppliqué ici
Où mène cette page à travers le Consortium.
Questions et réponses.
Qu'est-ce que le biais d'automatisation ?
Le recours à un examinateur humain rend-il une décision licite ?
Pourquoi analyser les dérogations ?
Is human review always necessary?
La plateforme fixe-t-elle des normes de supervision ?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GRAL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Soumettez une question d'exposition ou de capital à l'Alliance.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.