Skip to content

GRA · KI und Risiken von Finanzmodellen

Räumliche FinanzanalyseWo Kapital auf Gefahr, Exposition und Transition trifft

Kontrollen mit menschlicher Beteiligung

Menschliche Aufsicht soll Modellfehler erkennen, Ausnahmen behandeln und die Verantwortlichkeit bei Menschen belassen. In der Praxis können Prüfer sich auf Modelle verlassen, es kann ihnen an Zeit oder Informationen fehlen, oder sie werden mit zunehmender Automatisierung abgebaut. Diese Seite legt dar, wie Human-in-the-Loop-Kontrollen in Finanzdienstleistungen funktionieren und versagen, wie ihre Wirksamkeit gemessen wird und wer entscheidet, wo das menschliche Urteil erhalten bleiben muss.

01Registrieren

Kontrollen mit menschlicher Beteiligung (Human in the Loop) im Protokoll.

02Die Frage

Kontrollen mit menschlicher Aufsicht (Human in the loop): wie sich das Risiko entwickelt.

Befugnis und Genehmigungen. Das folgende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.

Mechanismus

Automatisierungsbias

Prüfende, denen eine Modellempfehlung vorgelegt wird, neigen dazu, sie anzunehmen, besonders unter Zeitdruck oder wenn das Modell meist richtigliegt. Aufsicht wird dann nur noch dem Namen nach zur Genehmigung.

Mechanismus

Prüfern fehlt der Kontext

Ohne Erklärungen, Konfidenzwerte und Zugang zu den zugrunde liegenden Daten können Prüfende nicht beurteilen, wann sie eingreifen sollten, und tun es deshalb selten.

Mechanismus

Die Verantwortung muss bei Menschen bleiben

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

Mechanismus

Übersteuerungen lehren das System

Dokumentierte Übersteuerungen und ihre Ergebnisse zeigen, wo Modelle versagen. Nicht dokumentierte Übersteuerungen verlieren dieses Signal und verbergen uneinheitliche menschliche Urteile.

03Exposition, Verlust und Kapital

Was Kontrollen mit menschlicher Beteiligung (Human in the Loop) für Exposition, Verlust und Kapital bedeuten.

Die Ansichten zu Exposition, Verlust, Szenario und Kapital, die eine Risikoverantwortliche, ein Aufseher oder ein Finanzministerium verlangen würde, samt den Rahmenwerken, gegen die berichtet wird. Die Strukturen folgen der aufsichtsrechtlichen und versicherungsmathematischen Praxis. Die Werte sind illustrativ: niemals Preise, Ratings oder Beratung.

Transmissionskanäle

Wie ein Schock bei Kontrollen mit menschlicher Beteiligung (Human in the Loop) Kredit-, Markt-, Zeichnungs-, Liquiditäts- und operationelle Risiken erreicht und zurückwirkt.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS climate scenarios · Network for Greening the Financial SystemIFRS S2 Climate-related Disclosures · ISSBTCFD recommendations · Financial Stability Board TCFDPrinciples for the effective management of climate-related financial risks · Basel Committee on Banking Supervision
04Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
ÜbersteuerungsquoteAnteil der übersteuerten ModellempfehlungenmonatlichEntscheidungsprotokolleBEOBACHTET
Ergebnis von ÜbersteuerungenLeistung übersteuerter im Vergleich zu nicht übersteuerten EntscheidungenvierteljährlichEntscheidungs- und ErgebnisprotokolleGESCHÄTZT
Review time per caseMinutenmonatlichWorkflow-DatenBEOBACHTET
Vollständig automatisierte Entscheidungenshare of decisionsvierteljährlichProcess recordsDEKLARIERT
Namentlich benannte rechenschaftspflichtige Verantwortliche je ModellverwendungAnteil der NutzungenjährlichGovernance-AufzeichnungenDEKLARIERT
Kundenbeschwerden gegen automatisierte EntscheidungenAnzahl und Anteil bestätigter FällevierteljährlichBeschwerdedatenBERICHTET
05Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight designKostenlos, EU-Weiterverwendungsbedingungen
DSGVO-Bestimmungen zu automatisierten Entscheidungen im EinzelfallRechte in Bezug auf ausschließlich automatisierte EntscheidungenKostenlos, EU-Weiterverwendungsbedingungen
Dokumente des britischen Senior Managers and Certification RegimeIndividuelle Verantwortlichkeit in britischen FinanzunternehmenFree, FCA and PRA terms
Forschung zum Automatisierungsverzerrung bei EntscheidungsunterstützungEvidence on human reliance on automated adviceFrei lesbar, Bedingungen je Verlag
IAIS Application Paper on the supervision of AIErwartungen an die Rechenschaftspflicht von VersicherernFrei, IAIS-Bedingungen
06Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

KI und finanzielles Modellrisiko bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen, nie von der Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
Verwaltungsräte und obere FührungskräfteWelche Entscheidungen menschliches Urteil behalten müssen und wer rechenschaftspflichtig istUse risk, legal duties and override evidence
Führungskräfte im BetriebWie Gutachter mit Ressourcen und Informationen ausgestattet werdenDaten zu Arbeitsabläufen, Zeit und Übersteuerungen
AufsichtsbehördenWhether oversight arrangements meet legal requirementsProzessgestaltung und Evidenz zu Ergebnissen
Funktionen des ModellrisikosHow override data feed model reviewAnalyse von Übersteuerungen und Ergebnissen

Ergebnisse, die dieses Thema hervorbringt

  • Leitfaden zur Gestaltung aussagekräftiger menschlicher Überprüfung
  • Method note on analysing overrides and their outcomes
  • Kurzdarstellung zur Rechenschaftspflicht bei automatisierten Entscheidungen
  • Fragen an Aufsichtsgremien dazu, wo das Urteil beim Menschen bleiben muss
07Kernfragen

Was Fachleute fragen.

Die Fragen klären, ob die menschliche Aufsicht tatsächlich wirksam oder nur formal vorhanden ist.

  • An welchen Stellen des Prozesses prüft eine Person, und mit welcher Befugnis?
  • Verfügen die Prüfenden über die Informationen und die Zeit, dem Modell zu widersprechen?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Kann der Prozess rasch gestoppt werden, wenn sich das Modell unerwartet verhält?
08Mechanismen

Mechanismen und Treiber.

Automatisierungsbias ist die Neigung, automatisierte Empfehlungen ohne ausreichende Prüfung zu übernehmen, besonders unter Zeitdruck oder wenn das System meist richtig liegt. Sie kann menschliche Überprüfung zur Formsache machen. Umgekehrt können uneinheitliche Übersteuerungen Verzerrungen einführen. Wirksame Aufsicht erfordert klare Entscheidungsrechte, aussagekräftige Informationen, Schulung, eine Arbeitslast, die Urteilsvermögen zulässt, und die Analyse von Übersteuerungsmustern.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09Methoden und Daten

Wie es untersucht wird und wo die Methoden enden.

Methode oder DatenWas es zeigtGrenzen
Kartierung von Prozessen und EntscheidungsrechtenWo Menschen eingebunden sind und was sie tun könnenDas formale Design kann von der Praxis abweichen
Analyse von ÜbersteuerungenWie und warum Menschen Modellen widersprechenRequires good logging
Forschung zu menschlichen FaktorenAutomatisierungsbias und ArbeitsbelastungseffekteLaborbefunde sind möglicherweise nicht übertragbar
VorfallüberprüfungVersagen der AufsichtVorfälle werden zu selten gemeldet
10Methoden

Wie es untersucht wird und was die Methoden nicht sagen können.

  1. Engineering für KI-Evaluierung und -AssuranceValidierung von Modellen des maschinellen Lernens · Red-Teaming generativer KI · FairnessbewertungHier angewandt
  2. Künstliche Intelligenz und maschinelles LernenGradient-Boosting-Kreditmodelle · Sprachmodelle im Betrieb · AnomalieerkennungHier angewandt
  3. Wahrscheinlichkeit und StatistikKalibrierungstests · Driftstatistiken · Vergleich der Ergebnisse zwischen GruppenHier angewandt
12Fragen

Fragen und Antworten.

What is automation bias?
Die Neigung von Menschen, sich zu stark auf automatisierte Empfehlungen zu verlassen und sie ohne ausreichende Prüfung zu übernehmen, selbst wenn sie falsch sind.
Macht ein menschlicher Prüfer eine Entscheidung rechtmäßig?
Nicht allein dadurch. Die Prüfung muss aussagekräftig sein, mit Zeit, Informationen und Befugnis, das Ergebnis zu ändern, und die gesetzlichen Pflichten des Unternehmens bleiben bestehen.
Warum Übersteuerungen analysieren?
Because their frequency and outcomes show where models are weak and whether human judgement improves decisions or adds inconsistency.
Ist eine menschliche Prüfung immer notwendig?
Nicht für jede Entscheidung. Das angemessene Maß an Aufsicht hängt von den Folgen, dem Modellrisiko und dem Recht ab.
Legt die Plattform Aufsichtsstandards fest?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
KI und Risiken von Finanzmodellen

Bringen Sie eine Frage zu Exposition oder Kapital in die Alliance ein.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.