Skip to content

GRA · IA e rischio dei modelli finanziari

Finanza spazialeDove il capitale incontra pericolo, esposizione e transizione

IA generativa nella finanza

Le imprese finanziarie usano modelli linguistici di grandi dimensioni per redigere documenti, rispondere ai clienti, sintetizzare ricerche, scrivere codice e supportare gli analisti. L'IA generativa produce testi fluidi che possono essere errati, possono divulgare dati e possono essere manipolati tramite i loro input. Questa pagina illustra come nascono i rischi dell'IA generativa nei servizi finanziari, come vengono misurati e controllati e chi decide dove può essere utilizzata.

01Canvas

Come si svolge il lavoro.

Sistemi · intorno a questo temaIllustrativo

Ciclo di vita del rischio di modello

IA generativa nella finanza · Inventario dei modelli · Comitato 7

3 validazioni in ritardoGRA · IA e rischio dei modelli finanziari

Ciclo di vita

  1. Inventarioregistrato
  2. Sviluppodocumentato
  3. Convalidareindipendente
  4. Approvarecomitato
  5. Attuarecontrolli
  6. Monitoraggiosoglie
  7. Valutazioneannuale
  8. Dismetteredismissione

Modelli

MD-264 PD retailLivello 112 mesi2In ritardo
MD-251 LLM complaints triageLivello 1mai0Non convalidato
MD-297 classificazione per stadi IFRS 9Livello 15 months2Approvato
MD-784 propensione al marketingLivello 36 mesi1Approvato

Ambito di validazione

Solidità concettuale
In corso
Analisi dei risultati
In sospeso
Benchmarking
In sospeso
Limiti d'uso
revisione umana necessaria
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.

02La domanda

Generative AI in finance: how the risk develops.

Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Meccanismo

Fluent but wrong

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

Meccanismo

Gli input possono essere usati come arma

La prompt injection tramite documenti, e-mail o pagine web può indurre un modello a ignorare le istruzioni, a rivelare dati o a compiere azioni non previste, soprattutto quando è collegato a strumenti.

Meccanismo

Fughe di dati oltre i confini

Le informazioni riservate immesse in servizi esterni o recuperate nelle risposte possono raggiungere persone che non ne hanno diritto. I termini di gestione dei dati e i controlli di accesso determinano il livello di esposizione.

Meccanismo

Il comportamento cambia con le versioni

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03Esposizione, perdita e capitale

Che cosa significa l'IA generativa nella finanza per esposizione, perdita e capitale.

Le viste su esposizione, perdita, scenari e capitale che un responsabile del rischio, un'autorità di vigilanza o un ministero delle finanze richiederebbe, con i quadri normativi in base ai quali riferisce. Le strutture seguono la prassi di vigilanza e attuariale. I valori sono illustrativi: mai prezzi, rating o consulenza.

Canali di trasmissione

Come uno shock nell'IA generativa in ambito finanziario raggiunge i rischi di credito, di mercato, di sottoscrizione, di liquidità e operativo, e produce effetti di ritorno.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS climate scenarios · Network for Greening the Financial SystemIFRS S2 Climate-related Disclosures · ISSBTCFD recommendations · Financial Stability Board TCFDPrinciples for the effective management of climate-related financial risks · Basel Committee on Banking Supervision
04Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Casi d'uso dell'IA generativa in produzioneconteggio per livello di rischiotrimestraleRegistro dei casi d'usoDICHIARATO
Factual error rate on evaluation setsquota di risposteper valutazioneInternal evaluationSTIMATO
Test di prompt injection non superaticount per test cycleper testRisultati del red-teamOSSERVATO
Data loss prevention events involving AI toolsconteggiomensileSecurity monitoringOSSERVATO
Reclami dei clienti collegati a contenuti generati dall'IAconteggiotrimestraleDati sui reclamiRIPORTATO
Model version changes by providersconteggioall'annoAvvisi dei fornitoriRIPORTATO
05Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
Rapporto del FSB sulle implicazioni dell'IA per la stabilità finanziariaVulnerabilità derivanti dall'adozione dell'IA nella finanzaGratuito, condizioni FSB
IOSCO report on AI use cases, risks and challengesAI use in capital marketsGratuito, termini IOSCO
NIST AI RMF generative AI profileRischi e azioni specifici dell'IA generativaPubblico dominio
OWASP Top 10 per le applicazioni basate su modelli linguistici di grandi dimensioniRischi di sicurezza comuni nelle applicazioni LLMFree, CC BY-SA
Bank of England and FCA AI surveysAdoption and governance of AI in UK financeGratuito, termini della Bank of England e della FCA
06Decisioni

Chi decide, e a cosa servono le evidenze.

IA e rischio di modello prepara le evidenze. Le decisioni riportate di seguito sono assunte dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
Consigli di amministrazione e comitati esecutiviDove l'IA generativa può essere utilizzata e con quali controlliLivelli di rischio dei casi d'uso e risultati della valutazione
Funzioni di rischio di modello e di sicurezzaHow generative AI is validated and securedEvidenze di valutazione, red-team e monitoraggio
Conduct supervisorsSe l'IA rivolta ai clienti rispetta gli obblighi di condotta e di informativaComplaints and outcome evidence
Team degli acquisti e dell'area legaleQuali fornitori e condizioni sui dati sono accettabiliContract terms and data handling evidence

Output prodotti da questo argomento

  • Guide to generative AI failure modes in financial services
  • Method note on evaluating factual accuracy and grounding
  • Nota sulla prompt injection e sugli assistenti connessi a strumenti
  • Domande per i consigli di amministrazione sui casi d'uso dell'IA generativa
07Questioni centrali

Cosa si chiedono gli esperti.

Le questioni sull'IA generativa partono dal caso d'uso e dalle sue conseguenze.

  • A che cosa serve lo strumento e che cosa accade se il suo output è errato?
  • Come si verifica l'accuratezza dei risultati prima che incidano su clienti o decisioni?
  • What data is sent to the model, and could confidential information leak?
  • Come vengono registrati prompt, versioni e output ai fini della responsabilità?
  • How dependent is the institution on a single provider, and what happens if the service changes or fails?
08Meccanismi

Meccanismi e fattori.

I modelli linguistici di grandi dimensioni generano testo prevedendo le continuazioni più probabili. Possono produrre risultati fluidi e plausibili ma falsi, il che è molto rilevante dove è richiesta accuratezza. Il loro comportamento può cambiare quando i fornitori aggiornano i modelli e possono essere manipolati da input costruiti ad hoc. I loro risultati sono difficili da verificare in modo esaustivo perché lo spazio degli input possibili è vastissimo.

Il rischio dipende fortemente dall'uso. Redigere una sintesi interna che un professionista rivede comporta un rischio diverso dal rispondere direttamente ai clienti o dall'informare le decisioni di credito. I controlli sono quindi proporzionati alle conseguenze: revisione umana, dati con accesso limitato, recupero da fonti approvate, test su casi noti e monitoraggio dei risultati.

09Metodi e dati

Come viene studiato, e dove si fermano i metodi.

Metodo o datiCosa mostraLimiti
Use-case risk assessmentConseguenze del guasto per applicazioneInformal uses may not be captured
Evaluation against test setsAccuracy and failure rates on known casesNon può coprire tutti gli input reali
Red-teaming e test avversarialiVulnerabilità alla manipolazioneFinds some weaknesses, not all
Output monitoring and loggingErrors and incidents in useIndividuare errori sottili è difficile
11Domande

Domande e risposte.

Is a large language model a model under model risk rules?
Le autorità di vigilanza trattano sempre più spesso gli strumenti di IA che orientano le decisioni come modelli o come parte del rischio di modello, e si aspettano che le imprese li governino in modo proporzionato al loro utilizzo.
Che cos'è la prompt injection?
Un attacco in cui istruzioni nascoste negli input, come un documento o una pagina web, inducono un modello linguistico a ignorare le istruzioni previste o a compiere azioni non volute.
Che cos'è l'ancoraggio (grounding)?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Perché i modelli linguistici producono informazioni false?
Because they generate statistically likely text rather than retrieving verified facts. Without grounding and checks, they can produce plausible but incorrect output.
Should generative AI make credit or claims decisions?
That is for institutions and regulators to decide. Where the consequences for people are significant, strong human oversight and testing are widely expected.
La piattaforma valuta prodotti specifici di intelligenza artificiale?
No. La GRA non valuta, non classifica né approva prodotti o fornitori.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
IA e rischio dei modelli finanziari

Portate all'Alliance una questione di esposizione o di capitale.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.