GRA · KI und Risiken von Finanzmodellen
Räumliche FinanzanalyseWo Kapital auf Gefahr, Exposition und Transition trifft
Modellüberwachung und Drift
Ein bei der Einführung validiertes Modell kann später versagen, wenn sich Kunden, Produkte, Märkte und Datenpipelines verändern. Das Monitoring verfolgt Leistung, Eingabeverteilungen und Ergebnisse, um Drift zu erkennen und eine Überprüfung auszulösen. Modelle des maschinellen Lernens, die häufig neu trainiert werden, bringen eigene Risiken mit sich. Diese Seite erläutert, wie Drift entsteht, wie das Monitoring sie erkennt, welche Maße verwendet werden und wer entscheidet, wann ein Modell geändert oder eingestellt werden muss.
Modellüberwachung und Drift aktenkundig.
Model monitoring and drift: how the risk develops.
Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Data drift
Die Verteilung der Eingabedaten verschiebt sich, wenn neue Kundensegmente hinzukommen, Produkte sich ändern oder vorgelagerte Systeme Felder verändern. Das Modell trifft auf Daten, mit denen es nicht trainiert wurde.
Konzeptdrift
The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.
Ergebnisse treten spät ein
Ausfälle und Schadenforderungen treten Monate oder Jahre nach Entscheidungen auf, sodass die tatsächliche Leistung erst spät bekannt ist. Näherungswerte und Frühindikatoren füllen die Lücke mit Unsicherheit.
Umschulung erhöht das Risiko
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
Was Modellüberwachung und Drift für Exposition, Verlust und Kapital bedeuten.
Die Ansichten zu Exposition, Verlust, Szenario und Kapital, die eine Risikoverantwortliche, ein Aufseher oder ein Finanzministerium verlangen würde, samt den Rahmenwerken, gegen die berichtet wird. Die Strukturen folgen der aufsichtsrechtlichen und versicherungsmathematischen Praxis. Die Werte sind illustrativ: niemals Preise, Ratings oder Beratung.
Transmissionskanäle
Wie ein Schock bei Modellüberwachung und Drift auf Kredit-, Markt-, Zeichnungs-, Liquiditäts- und operationelle Risiken durchschlägt und zurückwirkt.
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Population-Stability-Index je Eingabe | dimensionslos | monatlich | Überwachung | GESCHÄTZT |
| Performance against validation baseline | Veränderung der Trennschärfe oder der Kalibrierung | monatlich oder vierteljährlich | Überwachung | GESCHÄTZT |
| Überwachungswarnungen bei Überschreitung von Schwellenwerten | Anzahl | monatlich | Überwachungsaufzeichnungen | BEOBACHTET |
| Im Zeitraum neu trainierte Modelle | Anzahl | vierteljährlich | Model records | DEKLARIERT |
| Vorfälle in der Datenpipeline mit Auswirkungen auf Modelle | Anzahl | vierteljährlich | Vorfallsaufzeichnungen | BERICHTET |
| Zeit von der Warnung bis zur Behebung | Tage | pro Warnung | Governance-Aufzeichnungen | BEOBACHTET |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| PRA SS1/23 principles on model monitoring | Erwartungen an die laufende Leistungsüberwachung | Kostenlos, Konditionen der Bank of England |
| SR 11-7 zu laufender Überwachung und Ergebnisanalyse | Erwartungen in den Vereinigten Staaten | Gemeinfrei |
| EBA-Leitlinien zur Kreditvergabe und -überwachung | Überwachung automatisierter Kreditmodelle | Kostenlos, EU-Weiterverwendungsbedingungen |
| Akademische Forschung zur Datenverschiebung (Dataset Shift) | Methods for detecting and adapting to drift | Frei lesbar, Bedingungen je Verlag |
| Offenlegungen zum Backtesting von Modellen nach Säule 3 der Banken | Ergebnisse des Backtestings für Kapitalmodelle | Öffentliche Register, Bedingungen je Bank |
Wer entscheidet und wozu die Evidenz dient.
KI und finanzielles Modellrisiko bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen, nie von der Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Modellverantwortliche | Wann ein Modell neu kalibriert, weiterentwickelt oder ausgemustert wird | Überwachung der Ergebnisse anhand von Schwellenwerten |
| Funktionen des Modellrisikos | Welche Monitoring-Standards je Stufe gelten | Policy and monitoring evidence |
| Aufsichtsbehörden | Ob die Überwachung für Kapital- und Verhaltensmodelle angemessen ist | Ergebnisse von Rückvergleichen und Überprüfungen |
| Dateneigentümer | Wie vorgelagerte Änderungen gesteuert werden | Aufzeichnungen zu Pipeline-Vorfällen |
Ergebnisse, die dieses Thema hervorbringt
- Leitfaden zu Datendrift und Konzeptdrift
- Methodenhinweis zu Überwachungsschwellen und Alarmen
- Brief on controls for frequently retrained models
- Fragen an Modellverantwortliche zu verspätet eintreffenden Ergebnissen
Was Fachleute fragen.
Überwachungsfragen betreffen, wie bald ein Problem erkannt wird.
- Welche Leistungskennzahlen werden überwacht, und wie oft?
- Wie schnell werden Ergebnisse wie Ausfälle oder Schadenfälle beobachtet, und was füllt in der Zwischenzeit die Lücke?
- Hat sich die Verteilung der Eingabedaten verschoben, und ist das von Bedeutung?
- Welche Schwellenwerte lösen eine Überprüfung, Neukalibrierung oder Rücknahme aus, und wer hat sie festgelegt?
- How are continuously retrained models governed?
Mechanismen und Treiber.
Datendrift tritt auf, wenn sich die Verteilung der Eingaben ändert, zum Beispiel durch ein neues Kundensegment oder eine Änderung einer Datenquelle. Konzeptdrift tritt auf, wenn sich der Zusammenhang zwischen Eingaben und Ergebnissen ändert, zum Beispiel wenn ein wirtschaftlicher Schock verändert, wie das Einkommen die Rückzahlung vorhersagt. Konzeptdrift ist gefährlicher und schwerer zu erkennen, weil es Monate oder Jahre dauern kann, bis die Ergebnisse beobachtbar sind.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Wie es untersucht wird und wo die Methoden enden.
| Methode oder Daten | Was es zeigt | Grenzen |
|---|---|---|
| Erfolgsverfolgung anhand von Ergebnissen | Genauigkeit und Kalibrierung im Zeitverlauf | Ergebnisse treten verzögert ein |
| Distribution shift statistics | Änderungen an den Eingabedaten | Eine Verschiebung bedeutet nicht immer Leistungsverlust |
| Benchmark- und Challenger-Modelle | Relative Leistung | Challengers share some data limitations |
| Rahmenwerke für Schwellenwerte und Alarmierung | Wann zu eskalieren ist | Schwellenwerte beruhen auf Urteilsvermögen |
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Wahrscheinlichkeit und StatistikKalibrierungstests · Driftstatistiken · Vergleich der Ergebnisse zwischen GruppenHier angewandt
- 02Unsicherheitsquantifizierung und ModellvalidierungVorhersageintervalle für Verlustmodelle · Modellensembles · Kapital- oder Puffer für ModellrisikoHier angewandt
- 03Künstliche Intelligenz und maschinelles LernenGradient-Boosting-Kreditmodelle · Sprachmodelle im Betrieb · AnomalieerkennungHier angewandt
- 04Engineering für KI-Evaluierung und -AssuranceValidierung von Modellen des maschinellen Lernens · Red-Teaming generativer KI · FairnessbewertungHier angewandt
Fragen und Antworten.
What is the difference between data drift and concept drift?
Was ist ein Population Stability Index?
Sollten Modelle automatisch neu trainiert werden?
Warum ist Konzeptdrift schwer zu erkennen?
Ist automatisches Nachtrainieren eine Lösung?
Does the platform monitor firms’ models?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- E-MailPortal GW-GRAVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Frage zu Exposition oder Kapital in die Alliance ein.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.