GRA · IA e rischio dei modelli finanziari
Finanza spazialeDove il capitale incontra pericolo, esposizione e transizione
Controlli con intervento umano
Supervisione umana ha lo scopo di individuare gli errori dei modelli, gestire le eccezioni e mantenere la responsabilità in capo alle persone. Nella pratica i revisori possono rimettersi ai modelli, non disporre di tempo o informazioni sufficienti, oppure essere rimossi con l'avanzare dell'automazione. Questa pagina illustra come funzionano e come falliscono i controlli con intervento umano (human-in-the-loop) nei servizi finanziari, come se ne misura l'efficacia e chi decide dove debba restare il giudizio umano.
Controlli con intervento umano a registro.
Controlli con intervento umano: come si sviluppa il rischio.
Autorità e approvazioni. Il dossier seguente illustra come si sviluppa il rischio, che cosa viene misurato, da dove provengono i dati, come sono modellati e chi decide.
Distorsione da automazione
Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.
Reviewers lack context
Senza spiegazioni, punteggi di affidabilità e accesso ai dati sottostanti, i revisori non possono valutare quando ignorare la raccomandazione, e raramente lo fanno.
La responsabilità deve restare in capo alle persone
Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.
Le deroghe istruiscono il sistema
Le deroghe registrate, e i loro esiti, mostrano dove i modelli falliscono. Le deroghe non registrate perdono tale segnale e nascondono giudizi umani incoerenti.
What human in the loop controls means for exposure, loss and capital.
Le viste su esposizione, perdita, scenari e capitale che un responsabile del rischio, un'autorità di vigilanza o un ministero delle finanze richiederebbe, con i quadri normativi in base ai quali riferisce. Le strutture seguono la prassi di vigilanza e attuariale. I valori sono illustrativi: mai prezzi, rating o consulenza.
Canali di trasmissione
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Tasso di override | quota di raccomandazioni del modello ribaltate | mensile | Registri delle decisioni | OSSERVATO |
| Esito delle deroghe | performance of overridden against non-overridden decisions | trimestrale | Registri delle decisioni e dei risultati | STIMATO |
| Review time per case | minuti | mensile | Dati del flusso di lavoro | OSSERVATO |
| Decisioni completamente automatizzate | quota delle decisioni | trimestrale | Registri di processo | DICHIARATO |
| Responsabile designato e identificato per ciascun uso del modello | share of uses | annuale | Registrazioni di governance | DICHIARATO |
| Ricorsi dei clienti contro decisioni automatizzate | numero e quota confermati | trimestrale | Dati sui reclami | RIPORTATO |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| Regolamento UE sull'IA supervisione umana dell'AI Act dell'UE per i Sistemi | Requisiti giuridici per la progettazione della supervisione | Gratuito, condizioni di riutilizzo dell'UE |
| Disposizioni del GDPR sul processo decisionale automatizzato relativo alle persone fisiche | Rights concerning solely automated decisions | Gratuito, condizioni di riutilizzo dell'UE |
| Documenti del regime britannico Senior Managers and Certification Regime | Responsabilità individuale nelle società finanziarie del Regno Unito | Free, FCA and PRA terms |
| Research on automation bias in decision support | Evidence on human reliance on automated advice | Lettura gratuita, condizioni stabilite da ciascun editore |
| Application Paper dell'IAIS sulla vigilanza dell'IA | Accountability expectations for insurers | Gratuito, termini IAIS |
Chi decide, e a cosa servono le evidenze.
IA e rischio di modello prepara le evidenze. Le decisioni riportate di seguito sono assunte dalle autorità indicate, secondo le rispettive norme, e mai dalla piattaforma.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Boards and senior managers | Quali decisioni devono mantenere il giudizio umano e chi ne risponde | Use risk, legal duties and override evidence |
| Operations leaders | How reviewers are resourced and informed | Dati su flussi di lavoro, tempi e deroghe |
| Autorità di regolamentazione | Whether oversight arrangements meet legal requirements | Progettazione del processo ed evidenze sui risultati |
| Funzioni di gestione del rischio di modello | How override data feed model review | Analisi delle deroghe e dei risultati |
Output prodotti da questo argomento
- Guida alla progettazione di una revisione umana significativa
- Method note on analysing overrides and their outcomes
- Nota di sintesi sulla responsabilità quando le decisioni sono automatizzate
- Domande per i consigli di amministrazione su dove il giudizio deve restare umano
Cosa si chiedono gli esperti.
Le domande verificano se la supervisione umana sia reale o solo nominale.
- At which points in the process does a person review, and with what authority?
- I revisori dispongono delle informazioni e del tempo necessari per dissentire dal modello?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- Can the process be stopped quickly if the model behaves unexpectedly?
Meccanismi e fattori.
Distorsione da automazione è la tendenza ad accettare le raccomandazioni automatizzate senza un esame sufficiente, soprattutto sotto pressione temporale o quando il sistema è di solito corretto. Può ridurre la revisione umana a una formalità. Al contrario, correzioni incoerenti possono introdurre distorsioni. Una supervisione efficace richiede poteri decisionali chiari, informazioni significative, formazione, un carico di lavoro che consenta il giudizio e l'analisi degli schemi di intervento correttivo.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
Come viene studiato, e dove si fermano i metodi.
| Metodo o dati | Cosa mostra | Limiti |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | La progettazione formale può differire dalla pratica |
| Analisi degli override | Come e perché gli esseri umani dissentono dai modelli | Requires good logging |
| Ricerca sui fattori umani | Distorsione da automazione ed effetti del carico di lavoro | I risultati di laboratorio possono non essere trasferibili |
| Incident review | Failures of oversight | Incidents are under-reported |
Come viene studiato, e cosa i metodi non possono dire.
- 01Ingegneria della valutazione e dell'assicurazione dell'IAConvalida dei modelli di apprendimento automatico · Red teaming dell'IA generativa · Valutazione dell'equitàApplicato qui
- 02Intelligenza artificiale e apprendimento automaticoModelli di credito con gradient boosting · Modelli linguistici nelle operazioni · Rilevamento delle anomalieApplicato qui
- 03Probabilità e statisticaTest di calibrazione · Statistiche di deriva · Confronto degli esiti tra gruppiApplicato qui
Dove porta questa pagina nel Consorzio.
Domande e risposte.
Che cos'è il pregiudizio da automazione?
Does a human reviewer make a decision lawful?
Perché analizzare le deroghe?
Is human review always necessary?
Does the platform set oversight standards?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- E-mailPortale GW-GRAInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Portate all'Alliance una questione di esposizione o di capitale.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.