GRA · KI und Risiken von Finanzmodellen
Räumliche FinanzanalyseWo Kapital auf Gefahr, Exposition und Transition trifft
Kontrollen mit menschlicher Beteiligung
Menschliche Aufsicht soll Modellfehler erkennen, Ausnahmen behandeln und die Verantwortlichkeit bei Menschen belassen. In der Praxis können Prüfer sich auf Modelle verlassen, es kann ihnen an Zeit oder Informationen fehlen, oder sie werden mit zunehmender Automatisierung abgebaut. Diese Seite legt dar, wie Human-in-the-Loop-Kontrollen in Finanzdienstleistungen funktionieren und versagen, wie ihre Wirksamkeit gemessen wird und wer entscheidet, wo das menschliche Urteil erhalten bleiben muss.
Kontrollen mit menschlicher Beteiligung (Human in the Loop) im Protokoll.
Kontrollen mit menschlicher Aufsicht (Human in the loop): wie sich das Risiko entwickelt.
Befugnis und Genehmigungen. Das folgende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.
Automatisierungsbias
Prüfende, denen eine Modellempfehlung vorgelegt wird, neigen dazu, sie anzunehmen, besonders unter Zeitdruck oder wenn das Modell meist richtigliegt. Aufsicht wird dann nur noch dem Namen nach zur Genehmigung.
Prüfern fehlt der Kontext
Ohne Erklärungen, Konfidenzwerte und Zugang zu den zugrunde liegenden Daten können Prüfende nicht beurteilen, wann sie eingreifen sollten, und tun es deshalb selten.
Die Verantwortung muss bei Menschen bleiben
Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.
Übersteuerungen lehren das System
Dokumentierte Übersteuerungen und ihre Ergebnisse zeigen, wo Modelle versagen. Nicht dokumentierte Übersteuerungen verlieren dieses Signal und verbergen uneinheitliche menschliche Urteile.
Was Kontrollen mit menschlicher Beteiligung (Human in the Loop) für Exposition, Verlust und Kapital bedeuten.
Die Ansichten zu Exposition, Verlust, Szenario und Kapital, die eine Risikoverantwortliche, ein Aufseher oder ein Finanzministerium verlangen würde, samt den Rahmenwerken, gegen die berichtet wird. Die Strukturen folgen der aufsichtsrechtlichen und versicherungsmathematischen Praxis. Die Werte sind illustrativ: niemals Preise, Ratings oder Beratung.
Transmissionskanäle
Wie ein Schock bei Kontrollen mit menschlicher Beteiligung (Human in the Loop) Kredit-, Markt-, Zeichnungs-, Liquiditäts- und operationelle Risiken erreicht und zurückwirkt.
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Übersteuerungsquote | Anteil der übersteuerten Modellempfehlungen | monatlich | Entscheidungsprotokolle | BEOBACHTET |
| Ergebnis von Übersteuerungen | Leistung übersteuerter im Vergleich zu nicht übersteuerten Entscheidungen | vierteljährlich | Entscheidungs- und Ergebnisprotokolle | GESCHÄTZT |
| Review time per case | Minuten | monatlich | Workflow-Daten | BEOBACHTET |
| Vollständig automatisierte Entscheidungen | share of decisions | vierteljährlich | Process records | DEKLARIERT |
| Namentlich benannte rechenschaftspflichtige Verantwortliche je Modellverwendung | Anteil der Nutzungen | jährlich | Governance-Aufzeichnungen | DEKLARIERT |
| Kundenbeschwerden gegen automatisierte Entscheidungen | Anzahl und Anteil bestätigter Fälle | vierteljährlich | Beschwerdedaten | BERICHTET |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Legal expectations for oversight design | Kostenlos, EU-Weiterverwendungsbedingungen |
| DSGVO-Bestimmungen zu automatisierten Entscheidungen im Einzelfall | Rechte in Bezug auf ausschließlich automatisierte Entscheidungen | Kostenlos, EU-Weiterverwendungsbedingungen |
| Dokumente des britischen Senior Managers and Certification Regime | Individuelle Verantwortlichkeit in britischen Finanzunternehmen | Free, FCA and PRA terms |
| Forschung zum Automatisierungsverzerrung bei Entscheidungsunterstützung | Evidence on human reliance on automated advice | Frei lesbar, Bedingungen je Verlag |
| IAIS Application Paper on the supervision of AI | Erwartungen an die Rechenschaftspflicht von Versicherern | Frei, IAIS-Bedingungen |
Wer entscheidet und wozu die Evidenz dient.
KI und finanzielles Modellrisiko bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen, nie von der Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Verwaltungsräte und obere Führungskräfte | Welche Entscheidungen menschliches Urteil behalten müssen und wer rechenschaftspflichtig ist | Use risk, legal duties and override evidence |
| Führungskräfte im Betrieb | Wie Gutachter mit Ressourcen und Informationen ausgestattet werden | Daten zu Arbeitsabläufen, Zeit und Übersteuerungen |
| Aufsichtsbehörden | Whether oversight arrangements meet legal requirements | Prozessgestaltung und Evidenz zu Ergebnissen |
| Funktionen des Modellrisikos | How override data feed model review | Analyse von Übersteuerungen und Ergebnissen |
Ergebnisse, die dieses Thema hervorbringt
- Leitfaden zur Gestaltung aussagekräftiger menschlicher Überprüfung
- Method note on analysing overrides and their outcomes
- Kurzdarstellung zur Rechenschaftspflicht bei automatisierten Entscheidungen
- Fragen an Aufsichtsgremien dazu, wo das Urteil beim Menschen bleiben muss
Was Fachleute fragen.
Die Fragen klären, ob die menschliche Aufsicht tatsächlich wirksam oder nur formal vorhanden ist.
- An welchen Stellen des Prozesses prüft eine Person, und mit welcher Befugnis?
- Verfügen die Prüfenden über die Informationen und die Zeit, dem Modell zu widersprechen?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- Kann der Prozess rasch gestoppt werden, wenn sich das Modell unerwartet verhält?
Mechanismen und Treiber.
Automatisierungsbias ist die Neigung, automatisierte Empfehlungen ohne ausreichende Prüfung zu übernehmen, besonders unter Zeitdruck oder wenn das System meist richtig liegt. Sie kann menschliche Überprüfung zur Formsache machen. Umgekehrt können uneinheitliche Übersteuerungen Verzerrungen einführen. Wirksame Aufsicht erfordert klare Entscheidungsrechte, aussagekräftige Informationen, Schulung, eine Arbeitslast, die Urteilsvermögen zulässt, und die Analyse von Übersteuerungsmustern.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
Wie es untersucht wird und wo die Methoden enden.
| Methode oder Daten | Was es zeigt | Grenzen |
|---|---|---|
| Kartierung von Prozessen und Entscheidungsrechten | Wo Menschen eingebunden sind und was sie tun können | Das formale Design kann von der Praxis abweichen |
| Analyse von Übersteuerungen | Wie und warum Menschen Modellen widersprechen | Requires good logging |
| Forschung zu menschlichen Faktoren | Automatisierungsbias und Arbeitsbelastungseffekte | Laborbefunde sind möglicherweise nicht übertragbar |
| Vorfallüberprüfung | Versagen der Aufsicht | Vorfälle werden zu selten gemeldet |
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Engineering für KI-Evaluierung und -AssuranceValidierung von Modellen des maschinellen Lernens · Red-Teaming generativer KI · FairnessbewertungHier angewandt
- 02Künstliche Intelligenz und maschinelles LernenGradient-Boosting-Kreditmodelle · Sprachmodelle im Betrieb · AnomalieerkennungHier angewandt
- 03Wahrscheinlichkeit und StatistikKalibrierungstests · Driftstatistiken · Vergleich der Ergebnisse zwischen GruppenHier angewandt
Wohin diese Seite im Konsortium führt.
Fragen und Antworten.
What is automation bias?
Macht ein menschlicher Prüfer eine Entscheidung rechtmäßig?
Warum Übersteuerungen analysieren?
Ist eine menschliche Prüfung immer notwendig?
Legt die Plattform Aufsichtsstandards fest?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- E-MailPortal GW-GRAVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Frage zu Exposition oder Kapital in die Alliance ein.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.