GRA · IA e rischio dei modelli finanziari
Finanza spazialeDove il capitale incontra pericolo, esposizione e transizione
IA generativa nella finanza
Le imprese finanziarie usano modelli linguistici di grandi dimensioni per redigere documenti, rispondere ai clienti, sintetizzare ricerche, scrivere codice e supportare gli analisti. L'IA generativa produce testi fluidi che possono essere errati, possono divulgare dati e possono essere manipolati tramite i loro input. Questa pagina illustra come nascono i rischi dell'IA generativa nei servizi finanziari, come vengono misurati e controllati e chi decide dove può essere utilizzata.
Come si svolge il lavoro.
Ciclo di vita del rischio di modello
IA generativa nella finanza · Inventario dei modelli · Comitato 7
Ciclo di vita
- Inventarioregistrato
- Sviluppodocumentato
- Convalidareindipendente
- Approvarecomitato
- Attuarecontrolli
- Monitoraggiosoglie
- Valutazioneannuale
- Dismetteredismissione
Modelli
| MD-264 PD retail | Livello 1 | 12 mesi | 2 | In ritardo |
| MD-251 LLM complaints triage | Livello 1 | mai | 0 | Non convalidato |
| MD-297 classificazione per stadi IFRS 9 | Livello 1 | 5 months | 2 | Approvato |
| MD-784 propensione al marketing | Livello 3 | 6 mesi | 1 | Approvato |
Ambito di validazione
- Solidità concettuale
- In corso
- Analisi dei risultati
- In sospeso
- Benchmarking
- In sospeso
- Limiti d'uso
- revisione umana necessaria
Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.
Generative AI in finance: how the risk develops.
Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Fluent but wrong
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
Gli input possono essere usati come arma
La prompt injection tramite documenti, e-mail o pagine web può indurre un modello a ignorare le istruzioni, a rivelare dati o a compiere azioni non previste, soprattutto quando è collegato a strumenti.
Fughe di dati oltre i confini
Le informazioni riservate immesse in servizi esterni o recuperate nelle risposte possono raggiungere persone che non ne hanno diritto. I termini di gestione dei dati e i controlli di accesso determinano il livello di esposizione.
Il comportamento cambia con le versioni
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
Che cosa significa l'IA generativa nella finanza per esposizione, perdita e capitale.
Le viste su esposizione, perdita, scenari e capitale che un responsabile del rischio, un'autorità di vigilanza o un ministero delle finanze richiederebbe, con i quadri normativi in base ai quali riferisce. Le strutture seguono la prassi di vigilanza e attuariale. I valori sono illustrativi: mai prezzi, rating o consulenza.
Canali di trasmissione
Come uno shock nell'IA generativa in ambito finanziario raggiunge i rischi di credito, di mercato, di sottoscrizione, di liquidità e operativo, e produce effetti di ritorno.
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Casi d'uso dell'IA generativa in produzione | conteggio per livello di rischio | trimestrale | Registro dei casi d'uso | DICHIARATO |
| Factual error rate on evaluation sets | quota di risposte | per valutazione | Internal evaluation | STIMATO |
| Test di prompt injection non superati | count per test cycle | per test | Risultati del red-team | OSSERVATO |
| Data loss prevention events involving AI tools | conteggio | mensile | Security monitoring | OSSERVATO |
| Reclami dei clienti collegati a contenuti generati dall'IA | conteggio | trimestrale | Dati sui reclami | RIPORTATO |
| Model version changes by providers | conteggio | all'anno | Avvisi dei fornitori | RIPORTATO |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| Rapporto del FSB sulle implicazioni dell'IA per la stabilità finanziaria | Vulnerabilità derivanti dall'adozione dell'IA nella finanza | Gratuito, condizioni FSB |
| IOSCO report on AI use cases, risks and challenges | AI use in capital markets | Gratuito, termini IOSCO |
| NIST AI RMF generative AI profile | Rischi e azioni specifici dell'IA generativa | Pubblico dominio |
| OWASP Top 10 per le applicazioni basate su modelli linguistici di grandi dimensioni | Rischi di sicurezza comuni nelle applicazioni LLM | Free, CC BY-SA |
| Bank of England and FCA AI surveys | Adoption and governance of AI in UK finance | Gratuito, termini della Bank of England e della FCA |
Chi decide, e a cosa servono le evidenze.
IA e rischio di modello prepara le evidenze. Le decisioni riportate di seguito sono assunte dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Consigli di amministrazione e comitati esecutivi | Dove l'IA generativa può essere utilizzata e con quali controlli | Livelli di rischio dei casi d'uso e risultati della valutazione |
| Funzioni di rischio di modello e di sicurezza | How generative AI is validated and secured | Evidenze di valutazione, red-team e monitoraggio |
| Conduct supervisors | Se l'IA rivolta ai clienti rispetta gli obblighi di condotta e di informativa | Complaints and outcome evidence |
| Team degli acquisti e dell'area legale | Quali fornitori e condizioni sui dati sono accettabili | Contract terms and data handling evidence |
Output prodotti da questo argomento
- Guide to generative AI failure modes in financial services
- Method note on evaluating factual accuracy and grounding
- Nota sulla prompt injection e sugli assistenti connessi a strumenti
- Domande per i consigli di amministrazione sui casi d'uso dell'IA generativa
Cosa si chiedono gli esperti.
Le questioni sull'IA generativa partono dal caso d'uso e dalle sue conseguenze.
- A che cosa serve lo strumento e che cosa accade se il suo output è errato?
- Come si verifica l'accuratezza dei risultati prima che incidano su clienti o decisioni?
- What data is sent to the model, and could confidential information leak?
- Come vengono registrati prompt, versioni e output ai fini della responsabilità?
- How dependent is the institution on a single provider, and what happens if the service changes or fails?
Meccanismi e fattori.
I modelli linguistici di grandi dimensioni generano testo prevedendo le continuazioni più probabili. Possono produrre risultati fluidi e plausibili ma falsi, il che è molto rilevante dove è richiesta accuratezza. Il loro comportamento può cambiare quando i fornitori aggiornano i modelli e possono essere manipolati da input costruiti ad hoc. I loro risultati sono difficili da verificare in modo esaustivo perché lo spazio degli input possibili è vastissimo.
Il rischio dipende fortemente dall'uso. Redigere una sintesi interna che un professionista rivede comporta un rischio diverso dal rispondere direttamente ai clienti o dall'informare le decisioni di credito. I controlli sono quindi proporzionati alle conseguenze: revisione umana, dati con accesso limitato, recupero da fonti approvate, test su casi noti e monitoraggio dei risultati.
Come viene studiato, e dove si fermano i metodi.
| Metodo o dati | Cosa mostra | Limiti |
|---|---|---|
| Use-case risk assessment | Conseguenze del guasto per applicazione | Informal uses may not be captured |
| Evaluation against test sets | Accuracy and failure rates on known cases | Non può coprire tutti gli input reali |
| Red-teaming e test avversariali | Vulnerabilità alla manipolazione | Finds some weaknesses, not all |
| Output monitoring and logging | Errors and incidents in use | Individuare errori sottili è difficile |
Come viene studiato, e cosa i metodi non possono dire.
- 01Intelligenza artificiale e apprendimento automaticoModelli di credito con gradient boosting · Modelli linguistici nelle operazioni · Rilevamento delle anomalieApplicato qui
- 02Ingegneria della valutazione e dell'assicurazione dell'IAConvalida dei modelli di apprendimento automatico · Red teaming dell'IA generativa · Valutazione dell'equitàApplicato qui
- 03Quantificazione dell'incertezza e validazione dei modelliIntervalli di previsione per i modelli di perdita · Insiemi di modelli · Capitale o riserve per il rischio di modelloApplicato qui
- 04Probabilità e statisticaTest di calibrazione · Statistiche di deriva · Confronto degli esiti tra gruppiApplicato qui
Domande e risposte.
Is a large language model a model under model risk rules?
Che cos'è la prompt injection?
Che cos'è l'ancoraggio (grounding)?
Perché i modelli linguistici producono informazioni false?
Should generative AI make credit or claims decisions?
La piattaforma valuta prodotti specifici di intelligenza artificiale?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- E-mailPortale GW-GRAInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Portate all'Alliance una questione di esposizione o di capitale.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.