Skip to content

GRA · Risque lié à l'IA et aux modèles financiers

Spatial financeWhere capital meets hazard, exposure and transition

IA générative dans la finance

Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.

01Canevas

Comment le travail se déroule.

Systèmes · autour de ce sujetIllustratif

Cycle de vie du risque de modèle

IA générative en finance · Inventaire des modèles · Comité 7

3 validations overdueGRA · AI and Financial Model Risk

Cycle de vie

  1. Inventaireenregistré
  2. Développerdocumenté
  3. Validerindépendant
  4. Approuvercomité
  5. Mettre en œuvrecontrôles
  6. Suiviseuils
  7. Examenannuel
  8. Retirermise hors service

Modèles

MD-264 PD retailNiveau 112 mois2En retard
MD-251 LLM complaints triageNiveau 1jamais0Non validé
MD-297 IFRS 9 stagingNiveau 15 months2Approuvé
MD-784 propension marketingNiveau 36 mois1Approuvé

Périmètre de validation

Solidité conceptuelle
En cours
Analyse des résultats
En attente
Analyse comparative
En attente
Limites d'utilisation
examen humain requis
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.

02La question

Generative AI in finance: how the risk develops.

Cas d'usage et contrôles des défaillances. Le dossier ci-dessous expose comment le risque se développe, ce qui est mesuré, d'où viennent les données, comment elles sont modélisées et qui décide.

Mécanisme

Fluide mais erroné

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

Mécanisme

Les intrants peuvent être instrumentalisés

L'injection de prompt par des documents, des courriels ou des pages web peut amener un modèle à ignorer des instructions, à révéler des données ou à entreprendre des actions non voulues, surtout lorsqu'il est connecté à des outils.

Mécanisme

Data leaks across boundaries

Les informations confidentielles saisies dans des services externes ou intégrées dans des réponses peuvent parvenir à des personnes qui n'y ont pas droit. Les conditions de traitement des données et les contrôles d'accès déterminent l'exposition.

Mécanisme

Behaviour changes with versions

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03Exposition, perte et capital

What Generative AI in finance means for exposure, loss and capital.

Les vues d'exposition, de pertes, de scénarios et de capital que demanderaient un responsable des risques, une autorité de contrôle ou un ministère des finances, avec les cadres dont ils relèvent pour leurs rapports. Les structures suivent la pratique prudentielle et actuarielle. Les valeurs sont illustratives : jamais des prix, des notations ni des conseils.

Canaux de transmission

How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Scénarios climatiques du NGFS · Réseau pour le verdissement du système financierIFRS S2 Informations à fournir en lien avec les changements climatiques · ISSBRecommandations de la TCFD · TCFD du Conseil de stabilité financièrePrincipes pour une gestion efficace des risques financiers liés au climat · Comité de Bâle sur le contrôle bancaire
04Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Cas d'usage de l'IA générative en productionnombre par niveau de risquetrimestrielRegistre des cas d'usageDÉCLARÉ
Taux d'erreurs factuelles sur les jeux d'évaluationpart des réponsespar évaluationInternal evaluationESTIMÉ
Prompt injection test failurescount per test cyclepar testRésultats des exercices de red teamOBSERVÉ
Data loss prevention events involving AI toolsnombremensuelSurveillance de la sécuritéOBSERVÉ
Plaintes de clients liées à des contenus générés par l'IAnombretrimestrielDonnées sur les plaintesDÉCLARÉ
Model version changes by providersnombrepar anAvis des fournisseursDÉCLARÉ
05Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
Rapport du FSB sur les implications de l'IA pour la stabilité financièreVulnerabilities from AI adoption in financeGratuit, conditions du FSB
Rapport de l'IOSCO sur les cas d'usage, les risques et les défis de l'IAAI use in capital marketsGratuit, conditions de l'IOSCO
NIST AI RMF generative AI profileRisques et actions propres à l'IA générativeDomaine public
OWASP Top 10 pour les applications de grands modèles de langageRisques de sécurité courants dans les applications LLMGratuit, CC BY-SA
Bank of England and FCA AI surveysAdoption and governance of AI in UK financeGratuit, conditions de la Bank of England et de la FCA
06Décisions

Qui décide, et à quoi servent les données probantes.

Risque lié à l'IA et risque de modèle prépare les données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Conseils d'administration et comités exécutifsWhere generative AI may be used and with what controlsNiveaux de risque des cas d'usage et résultats d'évaluation
Fonctions de risque de modèle et de sécuritéComment l'IA générative est validée et sécuriséeEvaluation, red-team and monitoring evidence
Conduct supervisorsSi l'IA en contact avec la clientèle respecte les obligations de conduite et de divulgationComplaints and outcome evidence
Équipes des achats et des affaires juridiquesWhich providers and data terms are acceptableClauses contractuelles et preuves de traitement des données

Résultats que produit ce thème

  • Guide des modes de défaillance de l'IA générative dans les services financiers
  • Method note on evaluating factual accuracy and grounding
  • Note sur l'injection de requêtes et les assistants connectés à des outils
  • Questions à l'intention des conseils d'administration sur les cas d'usage de l'IA générative
07Questions essentielles

Ce que se demandent les experts.

Les questions sur l'IA générative commencent par le cas d'usage et ses conséquences.

  • What is the tool being used for, and what happens if its output is wrong?
  • How is the accuracy of output verified before it affects customers or decisions?
  • What data is sent to the model, and could confidential information leak?
  • Comment les invites, les versions et les sorties sont-elles consignées pour garantir la redevabilité ?
  • Quel est le degré de dépendance de l'institution à l'égard d'un seul prestataire, et que se passe-t-il si le service change ou défaille ?
08Mécanismes

Mécanismes et facteurs.

Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.

Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.

09Méthodes et données

Comment c'est étudié, et où les méthodes s'arrêtent.

Méthode ou donnéesCe qu'il montreLimites
Use-case risk assessmentConsequences of failure by applicationInformal uses may not be captured
Évaluation sur des jeux de testExactitude et taux d'échec sur des cas connusNe peut couvrir toutes les données d'entrée réelles
Tests d'équipe rouge et tests adversariauxVulnerability to manipulationFinds some weaknesses, not all
Output monitoring and loggingErrors and incidents in useDetecting subtle errors is hard
10Méthodes

Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.

11Questions

Questions et réponses.

Un grand modèle de langage est-il un modèle au sens des règles sur le risque de modèle ?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
Qu'est-ce que l'injection de prompt ?
An attack in which instructions hidden in inputs, such as a document or web page, cause a language model to ignore its intended instructions or take unintended actions.
What is grounding?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Why do language models produce false information?
Parce qu'ils génèrent un texte statistiquement vraisemblable au lieu de retrouver des faits vérifiés. Sans ancrage ni contrôles, ils peuvent produire des résultats plausibles mais erronés.
L'IA générative devrait-elle prendre des décisions de crédit ou d'indemnisation ?
Cela relève des institutions et des autorités de régulation. Lorsque les conséquences pour les personnes sont importantes, un contrôle humain rigoureux et des tests sont largement attendus.
La plateforme évalue-t-elle des produits d'IA spécifiques ?
Non. La GRA n'évalue, ne note ni n'approuve les produits ou les fournisseurs.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Risque lié à l'IA et aux modèles financiers

Soumettez une question d'exposition ou de capital à l'Alliance.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.