Skip to content

GRA · Risque lié à l'IA et aux modèles financiers

Spatial financeWhere capital meets hazard, exposure and transition

Contrôles avec intervention humaine

Human oversight is meant to catch model errors, handle exceptions and keep accountability with people. In practice reviewers can defer to models, lack time or information, or be removed as automation grows. This page sets out how human-in-the-loop controls work and fail in financial services, how their effectiveness is measured, and who decides where human judgement must stay.

01Registre

Les contrôles avec intervention humaine consignés au dossier.

02La question

Contrôles avec intervention humaine : comment le risque évolue.

Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mécanisme

Biais d'automatisation

Les évaluateurs auxquels une recommandation de modèle est présentée tendent à l'accepter, surtout sous la pression du temps ou lorsque le modèle a généralement raison. La supervision devient alors une approbation de pure forme.

Mécanisme

Reviewers lack context

Sans explications, scores de confiance ni accès aux données sous-jacentes, les évaluateurs ne peuvent juger quand passer outre, et ils le font donc rarement.

Mécanisme

Accountability must stay with people

Les réglementations et les structures de gouvernance attribuent la responsabilité à des personnes et à des conseils nommément désignés. Déléguer des décisions à des modèles ne délègue pas la responsabilité.

Mécanisme

Overrides teach the system

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03Exposition, perte et capital

Ce que signifient les contrôles avec intervention humaine pour l'exposition, les pertes et le capital.

Les vues d'exposition, de pertes, de scénarios et de capital que demanderaient un responsable des risques, une autorité de contrôle ou un ministère des finances, avec les cadres dont ils relèvent pour leurs rapports. Les structures suivent la pratique prudentielle et actuarielle. Les valeurs sont illustratives : jamais des prix, des notations ni des conseils.

Canaux de transmission

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Scénarios climatiques du NGFS · Réseau pour le verdissement du système financierIFRS S2 Informations à fournir en lien avec les changements climatiques · ISSBRecommandations de la TCFD · TCFD du Conseil de stabilité financièrePrincipes pour une gestion efficace des risques financiers liés au climat · Comité de Bâle sur le contrôle bancaire
04Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Taux de dérogationpart des recommandations du modèle outrepasséesmensuelRegistres des décisionsOBSERVÉ
Résultat des dérogationsperformance of overridden against non-overridden decisionstrimestrielRegistres des décisions et des résultatsESTIMÉ
Review time per caseminutesmensuelDonnées de flux de travailOBSERVÉ
Decisions fully automatedpart des décisionstrimestrielRegistres de processusDÉCLARÉ
Responsable désigné et redevable pour chaque usage de modèleshare of usesannuelRegistres de gouvernanceDÉCLARÉ
Recours des clients contre les décisions automatiséesnombre et part confirméstrimestrielDonnées sur les plaintesDÉCLARÉ
05Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
EU AI Act human oversight requirements for high-risk systemsAttentes juridiques relatives à la conception de la supervisionGratuit, conditions de réutilisation de l'UE
Dispositions du RGPD relatives à la prise de décision individuelle automatiséeRights concerning solely automated decisionsGratuit, conditions de réutilisation de l'UE
Documents du régime britannique des dirigeants et de certification (Senior Managers and Certification Regime)Responsabilité individuelle dans les sociétés financières du Royaume-UniFree, FCA and PRA terms
Recherches sur le biais d'automatisation dans l'aide à la décisionEvidence on human reliance on automated adviceAccès libre en lecture, conditions selon l'éditeur
IAIS Application Paper on the supervision of AIAccountability expectations for insurersGratuit, conditions de l'AICA
06Décisions

Qui décide, et à quoi servent les données probantes.

Risque lié à l'IA et risque de modèle prépare les données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Boards and senior managersLes décisions qui doivent relever du jugement humain et qui en répondRisque d'usage, obligations légales et données probantes sur les dérogations
Responsables des opérationsHow reviewers are resourced and informedWorkflow, time and override data
RégulateursSi les dispositifs de supervision répondent aux exigences légalesConception du processus et données probantes sur les résultats
Fonctions du risque de modèleComment les données de dérogation alimentent la revue des modèlesOverride and outcome analysis

Résultats que produit ce thème

  • Guide pour concevoir un examen humain significatif
  • Method note on analysing overrides and their outcomes
  • Note sur la responsabilité lorsque les décisions sont automatisées
  • Questions à l'intention des conseils d'administration sur les domaines où le jugement doit rester humain
07Questions essentielles

Ce que se demandent les experts.

Les questions visent à établir si supervision humaine est réelle ou purement nominale.

  • À quelles étapes du processus une personne intervient-elle pour examiner, et avec quelle autorité ?
  • Les évaluateurs disposent-ils de l'information et du temps nécessaires pour contredire le modèle ?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Le processus peut-il être arrêté rapidement si le modèle se comporte de façon inattendue ?
08Mécanismes

Mécanismes et facteurs.

Biais d'automatisation est la tendance à accepter les recommandations automatisées sans examen suffisant, surtout sous la pression du temps ou lorsque le système a généralement raison. Il peut réduire la révision humaine à une formalité. À l'inverse, des dérogations incohérentes peuvent introduire des biais. Une supervision efficace exige des droits de décision clairs, des informations pertinentes, une formation, une charge de travail compatible avec le jugement et l'analyse des schémas de dérogation.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09Méthodes et données

Comment c'est étudié, et où les méthodes s'arrêtent.

Méthode ou donnéesCe qu'il montreLimites
Cartographie des processus et des droits de décisionOù se situent les humains et ce qu'ils peuvent faireLa conception formelle peut différer de la pratique
Analyse des dérogationsHow and why humans disagree with modelsRequires good logging
Recherche sur les facteurs humainsBiais d'automatisation et effets de la charge de travailLes résultats de laboratoire peuvent ne pas être transposables
Incident reviewFailures of oversightLes incidents sont sous-déclarés
10Méthodes

Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.

12Questions

Questions et réponses.

Qu'est-ce que le biais d'automatisation ?
La tendance des personnes à se fier excessivement aux recommandations automatisées, en les acceptant sans examen suffisant même lorsqu'elles sont erronées.
Le recours à un examinateur humain rend-il une décision licite ?
Pas en soi. L'examen doit être effectif, avec le temps, l'information et l'autorité nécessaires pour modifier le résultat, et les obligations légales de l'entreprise continuent de s'appliquer.
Pourquoi analyser les dérogations ?
Because their frequency and outcomes show where models are weak and whether human judgement improves decisions or adds inconsistency.
Is human review always necessary?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
La plateforme fixe-t-elle des normes de supervision ?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Risque lié à l'IA et aux modèles financiers

Soumettez une question d'exposition ou de capital à l'Alliance.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.