Skip to content

GRA · IA e rischio dei modelli finanziari

Finanza spazialeDove il capitale incontra pericolo, esposizione e transizione

Monitoraggio e deriva dei modelli

Un modello validato al momento del lancio può in seguito perdere efficacia al mutare di clienti, prodotti, mercati e flussi di dati. Il monitoraggio segue prestazioni, distribuzioni degli input ed esiti per rilevare la deriva e attivare una revisione. I modelli di apprendimento automatico che vengono riaddestrati di frequente comportano rischi propri. Questa pagina illustra come nasce la deriva, come il monitoraggio la rileva, quali misure si utilizzano e chi decide quando un modello deve essere modificato o sospeso.

01Registrare

Model monitoring and drift on the record.

02La domanda

Monitoraggio del modello e deriva: come si sviluppa il rischio.

Cambiamenti nel tempo e soglie di revisione. Il dossier qui sotto illustra come evolve il rischio, che cosa viene misurato, da dove provengono i dati, come sono modellati e chi decide.

Meccanismo

Deriva dei dati

La distribuzione degli input cambia quando arrivano nuovi segmenti di clientela, i prodotti si modificano o i Sistemi a monte alterano i campi. Il modello si trova di fronte a dati su cui non è stato addestrato.

Meccanismo

Deriva del concetto

The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.

Meccanismo

Outcomes arrive late

Insolvenze e sinistri emergono mesi o anni dopo le decisioni, quindi la performance effettiva si conosce tardi. Indicatori proxy e indicatori anticipatori colmano il divario con incertezza.

Meccanismo

Retraining adds risk

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03Esposizione, perdita e capitale

What model monitoring and drift means for exposure, loss and capital.

Le viste su esposizione, perdita, scenari e capitale che un responsabile del rischio, un'autorità di vigilanza o un ministero delle finanze richiederebbe, con i quadri normativi in base ai quali riferisce. Le strutture seguono la prassi di vigilanza e attuariale. I valori sono illustrativi: mai prezzi, rating o consulenza.

Canali di trasmissione

How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS climate scenarios · Network for Greening the Financial SystemIFRS S2 Climate-related Disclosures · ISSBTCFD recommendations · Financial Stability Board TCFDPrinciples for the effective management of climate-related financial risks · Basel Committee on Banking Supervision
04Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Population stability index by inputadimensionalemensileMonitoraggioSTIMATO
Prestazioni rispetto alla base di riferimento della validazionevariazione della discriminazione o della calibrazionemensile o trimestraleMonitoraggioSTIMATO
Allerte di monitoraggio per il superamento delle soglieconteggiomensileMonitoring recordsOSSERVATO
Modelli riaddestrati nel periodoconteggiotrimestraleRegistri dei modelliDICHIARATO
Incidenti nella pipeline di dati che incidono sui modelliconteggiotrimestraleRegistri degli incidentiRIPORTATO
Time from alert to remediationgiorniper allertaRegistrazioni di governanceOSSERVATO
05Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
PRA SS1/23 principles on model monitoringAspettative per il monitoraggio continuo delle prestazioniGratuito, condizioni della Bank of England
SR 11-7 su monitoraggio continuo e analisi dei risultatiAspettative degli Stati UnitiPubblico dominio
Orientamenti dell'EBA sulla concessione e sul monitoraggio dei prestitiMonitoraggio dei modelli di credito automatizzatiGratuito, condizioni di riutilizzo dell'UE
Academic research on dataset shiftMetodi per rilevare la deriva e adattarsi ad essaLettura gratuita, condizioni stabilite da ciascun editore
Informative di Pillar 3 delle banche sul back-testing dei modelliBack-testing results for capital modelsDocumenti pubblici, condizioni secondo ciascuna banca
06Decisioni

Chi decide, e a cosa servono le evidenze.

IA e rischio di modello prepara le evidenze. Le decisioni riportate di seguito sono assunte dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
Responsabili dei modelliQuando ricalibrare, rielaborare o ritirare un modelloMonitoring results against thresholds
Funzioni di gestione del rischio di modelloQuali standard di monitoraggio si applicano per livelloEvidenze su politiche e monitoraggio
Autorità di vigilanzaSe il monitoraggio è adeguato per i modelli di capitale e di condottaRisultati dei test retrospettivi e della revisione
Titolari dei datiCome vengono controllate le modifiche a montePipeline incident records

Output prodotti da questo argomento

  • Guida al data drift e al concept drift
  • Method note on monitoring thresholds and alerts
  • Nota sui controlli per i modelli riaddestrati di frequente
  • Domande ai titolari dei modelli sugli esiti che arrivano in ritardo
07Questioni centrali

Cosa si chiedono gli esperti.

Monitoring questions ask how soon a problem will be seen.

  • Quali misure di prestazione sono monitorate e con quale frequenza?
  • How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
  • La distribuzione dei dati di input è cambiata, e ha rilevanza?
  • Quali soglie determinano il riesame, la ricalibrazione o il ritiro, e chi le ha fissate?
  • How are continuously retrained models governed?
08Meccanismi

Meccanismi e fattori.

Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09Metodi e dati

Come viene studiato, e dove si fermano i metodi.

Metodo o datiCosa mostraLimiti
Monitoraggio delle prestazioni rispetto ai risultatiAccuracy and calibration over timeOutcomes arrive with delay
Distribution shift statisticsModifiche ai dati di inputLo spostamento non comporta sempre una perdita di prestazioni
Modelli di riferimento e modelli sfidantiPrestazioni relativeChallengers share some data limitations
Quadri di soglie e di allertaQuando segnalare a un livello superioreLe soglie implicano giudizio
11Domande

Domande e risposte.

What is the difference between data drift and concept drift?
Data drift is a change in the distribution of inputs; concept drift is a change in how inputs relate to outcomes. Either can reduce model accuracy.
What is a population stability index?
Misura che confronta la distribuzione di una variabile o di un punteggio tra due periodi, usata per rilevare variazioni nella popolazione valutata da un modello.
I modelli devono essere riaddestrati automaticamente?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
Perché è difficile individuare la deriva concettuale?
Because it involves changes in the relationship between inputs and outcomes, and outcomes such as defaults may only be known long after decisions are made.
Is automatic retraining a solution?
It can help but needs governance: retrained models can absorb errors, bias or temporary conditions, and must still be tested and approved.
Does the platform monitor firms’ models?
No. La GRA non monitora, convalida né approva alcun modello.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
IA e rischio dei modelli finanziari

Portate all'Alliance una questione di esposizione o di capitale.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.