Skip to content

GRA · IA e rischio dei modelli finanziari

Finanza spazialeDove il capitale incontra pericolo, esposizione e transizione

Controlli con intervento umano

Supervisione umana ha lo scopo di individuare gli errori dei modelli, gestire le eccezioni e mantenere la responsabilità in capo alle persone. Nella pratica i revisori possono rimettersi ai modelli, non disporre di tempo o informazioni sufficienti, oppure essere rimossi con l'avanzare dell'automazione. Questa pagina illustra come funzionano e come falliscono i controlli con intervento umano (human-in-the-loop) nei servizi finanziari, come se ne misura l'efficacia e chi decide dove debba restare il giudizio umano.

01Registrare

Controlli con intervento umano a registro.

02La domanda

Controlli con intervento umano: come si sviluppa il rischio.

Autorità e approvazioni. Il dossier seguente illustra come si sviluppa il rischio, che cosa viene misurato, da dove provengono i dati, come sono modellati e chi decide.

Meccanismo

Distorsione da automazione

Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.

Meccanismo

Reviewers lack context

Senza spiegazioni, punteggi di affidabilità e accesso ai dati sottostanti, i revisori non possono valutare quando ignorare la raccomandazione, e raramente lo fanno.

Meccanismo

La responsabilità deve restare in capo alle persone

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

Meccanismo

Le deroghe istruiscono il sistema

Le deroghe registrate, e i loro esiti, mostrano dove i modelli falliscono. Le deroghe non registrate perdono tale segnale e nascondono giudizi umani incoerenti.

03Esposizione, perdita e capitale

What human in the loop controls means for exposure, loss and capital.

Le viste su esposizione, perdita, scenari e capitale che un responsabile del rischio, un'autorità di vigilanza o un ministero delle finanze richiederebbe, con i quadri normativi in base ai quali riferisce. Le strutture seguono la prassi di vigilanza e attuariale. I valori sono illustrativi: mai prezzi, rating o consulenza.

Canali di trasmissione

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS climate scenarios · Network for Greening the Financial SystemIFRS S2 Climate-related Disclosures · ISSBTCFD recommendations · Financial Stability Board TCFDPrinciples for the effective management of climate-related financial risks · Basel Committee on Banking Supervision
04Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Tasso di overridequota di raccomandazioni del modello ribaltatemensileRegistri delle decisioniOSSERVATO
Esito delle derogheperformance of overridden against non-overridden decisionstrimestraleRegistri delle decisioni e dei risultatiSTIMATO
Review time per caseminutimensileDati del flusso di lavoroOSSERVATO
Decisioni completamente automatizzatequota delle decisionitrimestraleRegistri di processoDICHIARATO
Responsabile designato e identificato per ciascun uso del modelloshare of usesannualeRegistrazioni di governanceDICHIARATO
Ricorsi dei clienti contro decisioni automatizzatenumero e quota confermatitrimestraleDati sui reclamiRIPORTATO
05Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
Regolamento UE sull'IA supervisione umana dell'AI Act dell'UE per i SistemiRequisiti giuridici per la progettazione della supervisioneGratuito, condizioni di riutilizzo dell'UE
Disposizioni del GDPR sul processo decisionale automatizzato relativo alle persone fisicheRights concerning solely automated decisionsGratuito, condizioni di riutilizzo dell'UE
Documenti del regime britannico Senior Managers and Certification RegimeResponsabilità individuale nelle società finanziarie del Regno UnitoFree, FCA and PRA terms
Research on automation bias in decision supportEvidence on human reliance on automated adviceLettura gratuita, condizioni stabilite da ciascun editore
Application Paper dell'IAIS sulla vigilanza dell'IAAccountability expectations for insurersGratuito, termini IAIS
06Decisioni

Chi decide, e a cosa servono le evidenze.

IA e rischio di modello prepara le evidenze. Le decisioni riportate di seguito sono assunte dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
Boards and senior managersQuali decisioni devono mantenere il giudizio umano e chi ne rispondeUse risk, legal duties and override evidence
Operations leadersHow reviewers are resourced and informedDati su flussi di lavoro, tempi e deroghe
Autorità di regolamentazioneWhether oversight arrangements meet legal requirementsProgettazione del processo ed evidenze sui risultati
Funzioni di gestione del rischio di modelloHow override data feed model reviewAnalisi delle deroghe e dei risultati

Output prodotti da questo argomento

  • Guida alla progettazione di una revisione umana significativa
  • Method note on analysing overrides and their outcomes
  • Nota di sintesi sulla responsabilità quando le decisioni sono automatizzate
  • Domande per i consigli di amministrazione su dove il giudizio deve restare umano
07Questioni centrali

Cosa si chiedono gli esperti.

Le domande verificano se la supervisione umana sia reale o solo nominale.

  • At which points in the process does a person review, and with what authority?
  • I revisori dispongono delle informazioni e del tempo necessari per dissentire dal modello?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Can the process be stopped quickly if the model behaves unexpectedly?
08Meccanismi

Meccanismi e fattori.

Distorsione da automazione è la tendenza ad accettare le raccomandazioni automatizzate senza un esame sufficiente, soprattutto sotto pressione temporale o quando il sistema è di solito corretto. Può ridurre la revisione umana a una formalità. Al contrario, correzioni incoerenti possono introdurre distorsioni. Una supervisione efficace richiede poteri decisionali chiari, informazioni significative, formazione, un carico di lavoro che consenta il giudizio e l'analisi degli schemi di intervento correttivo.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09Metodi e dati

Come viene studiato, e dove si fermano i metodi.

Metodo o datiCosa mostraLimiti
Process and decision-rights mappingWhere humans sit and what they can doLa progettazione formale può differire dalla pratica
Analisi degli overrideCome e perché gli esseri umani dissentono dai modelliRequires good logging
Ricerca sui fattori umaniDistorsione da automazione ed effetti del carico di lavoroI risultati di laboratorio possono non essere trasferibili
Incident reviewFailures of oversightIncidents are under-reported
10Metodi

Come viene studiato, e cosa i metodi non possono dire.

12Domande

Domande e risposte.

Che cos'è il pregiudizio da automazione?
La tendenza delle persone ad affidarsi eccessivamente alle raccomandazioni automatizzate, accettandole senza un esame sufficiente anche quando sono errate.
Does a human reviewer make a decision lawful?
Non di per sé. La revisione deve essere significativa, con tempo, informazioni e autorità per modificare l'esito, e gli obblighi di legge restano in capo all'impresa.
Perché analizzare le deroghe?
Perché la loro frequenza e i loro esiti mostrano dove i modelli sono deboli e se il giudizio umano migliora le decisioni o introduce incoerenza.
Is human review always necessary?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
IA e rischio dei modelli finanziari

Portate all'Alliance una questione di esposizione o di capitale.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.