Skip to content

GRA · KI und Risiken von Finanzmodellen

Räumliche FinanzanalyseWo Kapital auf Gefahr, Exposition und Transition trifft

Modellüberwachung und Drift

Ein bei der Einführung validiertes Modell kann später versagen, wenn sich Kunden, Produkte, Märkte und Datenpipelines verändern. Das Monitoring verfolgt Leistung, Eingabeverteilungen und Ergebnisse, um Drift zu erkennen und eine Überprüfung auszulösen. Modelle des maschinellen Lernens, die häufig neu trainiert werden, bringen eigene Risiken mit sich. Diese Seite erläutert, wie Drift entsteht, wie das Monitoring sie erkennt, welche Maße verwendet werden und wer entscheidet, wann ein Modell geändert oder eingestellt werden muss.

01Registrieren

Modellüberwachung und Drift aktenkundig.

02Die Frage

Model monitoring and drift: how the risk develops.

Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mechanismus

Data drift

Die Verteilung der Eingabedaten verschiebt sich, wenn neue Kundensegmente hinzukommen, Produkte sich ändern oder vorgelagerte Systeme Felder verändern. Das Modell trifft auf Daten, mit denen es nicht trainiert wurde.

Mechanismus

Konzeptdrift

The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.

Mechanismus

Ergebnisse treten spät ein

Ausfälle und Schadenforderungen treten Monate oder Jahre nach Entscheidungen auf, sodass die tatsächliche Leistung erst spät bekannt ist. Näherungswerte und Frühindikatoren füllen die Lücke mit Unsicherheit.

Mechanismus

Umschulung erhöht das Risiko

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03Exposition, Verlust und Kapital

Was Modellüberwachung und Drift für Exposition, Verlust und Kapital bedeuten.

Die Ansichten zu Exposition, Verlust, Szenario und Kapital, die eine Risikoverantwortliche, ein Aufseher oder ein Finanzministerium verlangen würde, samt den Rahmenwerken, gegen die berichtet wird. Die Strukturen folgen der aufsichtsrechtlichen und versicherungsmathematischen Praxis. Die Werte sind illustrativ: niemals Preise, Ratings oder Beratung.

Transmissionskanäle

Wie ein Schock bei Modellüberwachung und Drift auf Kredit-, Markt-, Zeichnungs-, Liquiditäts- und operationelle Risiken durchschlägt und zurückwirkt.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS climate scenarios · Network for Greening the Financial SystemIFRS S2 Climate-related Disclosures · ISSBTCFD recommendations · Financial Stability Board TCFDPrinciples for the effective management of climate-related financial risks · Basel Committee on Banking Supervision
04Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Population-Stability-Index je EingabedimensionslosmonatlichÜberwachungGESCHÄTZT
Performance against validation baselineVeränderung der Trennschärfe oder der Kalibrierungmonatlich oder vierteljährlichÜberwachungGESCHÄTZT
Überwachungswarnungen bei Überschreitung von SchwellenwertenAnzahlmonatlichÜberwachungsaufzeichnungenBEOBACHTET
Im Zeitraum neu trainierte ModelleAnzahlvierteljährlichModel recordsDEKLARIERT
Vorfälle in der Datenpipeline mit Auswirkungen auf ModelleAnzahlvierteljährlichVorfallsaufzeichnungenBERICHTET
Zeit von der Warnung bis zur BehebungTagepro WarnungGovernance-AufzeichnungenBEOBACHTET
05Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
PRA SS1/23 principles on model monitoringErwartungen an die laufende LeistungsüberwachungKostenlos, Konditionen der Bank of England
SR 11-7 zu laufender Überwachung und ErgebnisanalyseErwartungen in den Vereinigten StaatenGemeinfrei
EBA-Leitlinien zur Kreditvergabe und -überwachungÜberwachung automatisierter KreditmodelleKostenlos, EU-Weiterverwendungsbedingungen
Akademische Forschung zur Datenverschiebung (Dataset Shift)Methods for detecting and adapting to driftFrei lesbar, Bedingungen je Verlag
Offenlegungen zum Backtesting von Modellen nach Säule 3 der BankenErgebnisse des Backtestings für KapitalmodelleÖffentliche Register, Bedingungen je Bank
06Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

KI und finanzielles Modellrisiko bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen, nie von der Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
ModellverantwortlicheWann ein Modell neu kalibriert, weiterentwickelt oder ausgemustert wirdÜberwachung der Ergebnisse anhand von Schwellenwerten
Funktionen des ModellrisikosWelche Monitoring-Standards je Stufe geltenPolicy and monitoring evidence
AufsichtsbehördenOb die Überwachung für Kapital- und Verhaltensmodelle angemessen istErgebnisse von Rückvergleichen und Überprüfungen
DateneigentümerWie vorgelagerte Änderungen gesteuert werdenAufzeichnungen zu Pipeline-Vorfällen

Ergebnisse, die dieses Thema hervorbringt

  • Leitfaden zu Datendrift und Konzeptdrift
  • Methodenhinweis zu Überwachungsschwellen und Alarmen
  • Brief on controls for frequently retrained models
  • Fragen an Modellverantwortliche zu verspätet eintreffenden Ergebnissen
07Kernfragen

Was Fachleute fragen.

Überwachungsfragen betreffen, wie bald ein Problem erkannt wird.

  • Welche Leistungskennzahlen werden überwacht, und wie oft?
  • Wie schnell werden Ergebnisse wie Ausfälle oder Schadenfälle beobachtet, und was füllt in der Zwischenzeit die Lücke?
  • Hat sich die Verteilung der Eingabedaten verschoben, und ist das von Bedeutung?
  • Welche Schwellenwerte lösen eine Überprüfung, Neukalibrierung oder Rücknahme aus, und wer hat sie festgelegt?
  • How are continuously retrained models governed?
08Mechanismen

Mechanismen und Treiber.

Datendrift tritt auf, wenn sich die Verteilung der Eingaben ändert, zum Beispiel durch ein neues Kundensegment oder eine Änderung einer Datenquelle. Konzeptdrift tritt auf, wenn sich der Zusammenhang zwischen Eingaben und Ergebnissen ändert, zum Beispiel wenn ein wirtschaftlicher Schock verändert, wie das Einkommen die Rückzahlung vorhersagt. Konzeptdrift ist gefährlicher und schwerer zu erkennen, weil es Monate oder Jahre dauern kann, bis die Ergebnisse beobachtbar sind.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09Methoden und Daten

Wie es untersucht wird und wo die Methoden enden.

Methode oder DatenWas es zeigtGrenzen
Erfolgsverfolgung anhand von ErgebnissenGenauigkeit und Kalibrierung im ZeitverlaufErgebnisse treten verzögert ein
Distribution shift statisticsÄnderungen an den EingabedatenEine Verschiebung bedeutet nicht immer Leistungsverlust
Benchmark- und Challenger-ModelleRelative LeistungChallengers share some data limitations
Rahmenwerke für Schwellenwerte und AlarmierungWann zu eskalieren istSchwellenwerte beruhen auf Urteilsvermögen
10Methoden

Wie es untersucht wird und was die Methoden nicht sagen können.

  1. Wahrscheinlichkeit und StatistikKalibrierungstests · Driftstatistiken · Vergleich der Ergebnisse zwischen GruppenHier angewandt
  2. Unsicherheitsquantifizierung und ModellvalidierungVorhersageintervalle für Verlustmodelle · Modellensembles · Kapital- oder Puffer für ModellrisikoHier angewandt
  3. Künstliche Intelligenz und maschinelles LernenGradient-Boosting-Kreditmodelle · Sprachmodelle im Betrieb · AnomalieerkennungHier angewandt
  4. Engineering für KI-Evaluierung und -AssuranceValidierung von Modellen des maschinellen Lernens · Red-Teaming generativer KI · FairnessbewertungHier angewandt
11Fragen

Fragen und Antworten.

What is the difference between data drift and concept drift?
Datendrift ist eine Veränderung in der Verteilung der Eingaben; Konzeptdrift ist eine Veränderung in der Beziehung zwischen Eingaben und Ergebnissen. Beides kann die Modellgenauigkeit verringern.
Was ist ein Population Stability Index?
A measure comparing the distribution of a variable or score between two periods, used to detect shifts in the population a model scores.
Sollten Modelle automatisch neu trainiert werden?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
Warum ist Konzeptdrift schwer zu erkennen?
Weil es um Veränderungen im Verhältnis zwischen Eingangsgrößen und Ergebnissen geht und Ergebnisse wie Zahlungsausfälle womöglich erst lange nach den Entscheidungen bekannt werden.
Ist automatisches Nachtrainieren eine Lösung?
Es kann helfen, erfordert aber Governance: Neu trainierte Modelle können Fehler, Verzerrungen oder vorübergehende Bedingungen übernehmen und müssen weiterhin getestet und freigegeben werden.
Does the platform monitor firms’ models?
Nein. GRA überwacht, validiert oder genehmigt keine Modelle.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
KI und Risiken von Finanzmodellen

Bringen Sie eine Frage zu Exposition oder Kapital in die Alliance ein.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.