GRA · IA e rischio dei modelli finanziari
Finanza spazialeDove il capitale incontra pericolo, esposizione e transizione
Monitoraggio e deriva dei modelli
Un modello validato al momento del lancio può in seguito perdere efficacia al mutare di clienti, prodotti, mercati e flussi di dati. Il monitoraggio segue prestazioni, distribuzioni degli input ed esiti per rilevare la deriva e attivare una revisione. I modelli di apprendimento automatico che vengono riaddestrati di frequente comportano rischi propri. Questa pagina illustra come nasce la deriva, come il monitoraggio la rileva, quali misure si utilizzano e chi decide quando un modello deve essere modificato o sospeso.
Model monitoring and drift on the record.
Monitoraggio del modello e deriva: come si sviluppa il rischio.
Cambiamenti nel tempo e soglie di revisione. Il dossier qui sotto illustra come evolve il rischio, che cosa viene misurato, da dove provengono i dati, come sono modellati e chi decide.
Deriva dei dati
La distribuzione degli input cambia quando arrivano nuovi segmenti di clientela, i prodotti si modificano o i Sistemi a monte alterano i campi. Il modello si trova di fronte a dati su cui non è stato addestrato.
Deriva del concetto
The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.
Outcomes arrive late
Insolvenze e sinistri emergono mesi o anni dopo le decisioni, quindi la performance effettiva si conosce tardi. Indicatori proxy e indicatori anticipatori colmano il divario con incertezza.
Retraining adds risk
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
What model monitoring and drift means for exposure, loss and capital.
Le viste su esposizione, perdita, scenari e capitale che un responsabile del rischio, un'autorità di vigilanza o un ministero delle finanze richiederebbe, con i quadri normativi in base ai quali riferisce. Le strutture seguono la prassi di vigilanza e attuariale. I valori sono illustrativi: mai prezzi, rating o consulenza.
Canali di trasmissione
How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Population stability index by input | adimensionale | mensile | Monitoraggio | STIMATO |
| Prestazioni rispetto alla base di riferimento della validazione | variazione della discriminazione o della calibrazione | mensile o trimestrale | Monitoraggio | STIMATO |
| Allerte di monitoraggio per il superamento delle soglie | conteggio | mensile | Monitoring records | OSSERVATO |
| Modelli riaddestrati nel periodo | conteggio | trimestrale | Registri dei modelli | DICHIARATO |
| Incidenti nella pipeline di dati che incidono sui modelli | conteggio | trimestrale | Registri degli incidenti | RIPORTATO |
| Time from alert to remediation | giorni | per allerta | Registrazioni di governance | OSSERVATO |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| PRA SS1/23 principles on model monitoring | Aspettative per il monitoraggio continuo delle prestazioni | Gratuito, condizioni della Bank of England |
| SR 11-7 su monitoraggio continuo e analisi dei risultati | Aspettative degli Stati Uniti | Pubblico dominio |
| Orientamenti dell'EBA sulla concessione e sul monitoraggio dei prestiti | Monitoraggio dei modelli di credito automatizzati | Gratuito, condizioni di riutilizzo dell'UE |
| Academic research on dataset shift | Metodi per rilevare la deriva e adattarsi ad essa | Lettura gratuita, condizioni stabilite da ciascun editore |
| Informative di Pillar 3 delle banche sul back-testing dei modelli | Back-testing results for capital models | Documenti pubblici, condizioni secondo ciascuna banca |
Chi decide, e a cosa servono le evidenze.
IA e rischio di modello prepara le evidenze. Le decisioni riportate di seguito sono assunte dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Responsabili dei modelli | Quando ricalibrare, rielaborare o ritirare un modello | Monitoring results against thresholds |
| Funzioni di gestione del rischio di modello | Quali standard di monitoraggio si applicano per livello | Evidenze su politiche e monitoraggio |
| Autorità di vigilanza | Se il monitoraggio è adeguato per i modelli di capitale e di condotta | Risultati dei test retrospettivi e della revisione |
| Titolari dei dati | Come vengono controllate le modifiche a monte | Pipeline incident records |
Output prodotti da questo argomento
- Guida al data drift e al concept drift
- Method note on monitoring thresholds and alerts
- Nota sui controlli per i modelli riaddestrati di frequente
- Domande ai titolari dei modelli sugli esiti che arrivano in ritardo
Cosa si chiedono gli esperti.
Monitoring questions ask how soon a problem will be seen.
- Quali misure di prestazione sono monitorate e con quale frequenza?
- How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
- La distribuzione dei dati di input è cambiata, e ha rilevanza?
- Quali soglie determinano il riesame, la ricalibrazione o il ritiro, e chi le ha fissate?
- How are continuously retrained models governed?
Meccanismi e fattori.
Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Come viene studiato, e dove si fermano i metodi.
| Metodo o dati | Cosa mostra | Limiti |
|---|---|---|
| Monitoraggio delle prestazioni rispetto ai risultati | Accuracy and calibration over time | Outcomes arrive with delay |
| Distribution shift statistics | Modifiche ai dati di input | Lo spostamento non comporta sempre una perdita di prestazioni |
| Modelli di riferimento e modelli sfidanti | Prestazioni relative | Challengers share some data limitations |
| Quadri di soglie e di allerta | Quando segnalare a un livello superiore | Le soglie implicano giudizio |
Come viene studiato, e cosa i metodi non possono dire.
- 01Probabilità e statisticaTest di calibrazione · Statistiche di deriva · Confronto degli esiti tra gruppiApplicato qui
- 02Quantificazione dell'incertezza e validazione dei modelliIntervalli di previsione per i modelli di perdita · Insiemi di modelli · Capitale o riserve per il rischio di modelloApplicato qui
- 03Intelligenza artificiale e apprendimento automaticoModelli di credito con gradient boosting · Modelli linguistici nelle operazioni · Rilevamento delle anomalieApplicato qui
- 04Ingegneria della valutazione e dell'assicurazione dell'IAConvalida dei modelli di apprendimento automatico · Red teaming dell'IA generativa · Valutazione dell'equitàApplicato qui
Domande e risposte.
What is the difference between data drift and concept drift?
What is a population stability index?
I modelli devono essere riaddestrati automaticamente?
Perché è difficile individuare la deriva concettuale?
Is automatic retraining a solution?
Does the platform monitor firms’ models?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- E-mailPortale GW-GRAInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Portate all'Alliance una questione di esposizione o di capitale.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.