GRA · KI und Risiken von Finanzmodellen
Räumliche FinanzanalyseWo Kapital auf Gefahr, Exposition und Transition trifft
Generative KI im Finanzwesen
Finanzunternehmen nutzen große Sprachmodelle, um Dokumente zu entwerfen, Kundenfragen zu beantworten, Recherchen zusammenzufassen, Code zu schreiben und Analysten zu unterstützen. Generative KI erzeugt flüssige Ausgaben, die falsch sein können, Daten preisgeben können und sich über ihre Eingaben manipulieren lassen. Diese Seite beschreibt, wie Risiken generativer KI in Finanzdienstleistungen entstehen, wie sie gemessen und kontrolliert werden und wer entscheidet, wo sie eingesetzt werden darf.
Wie die Arbeit abläuft.
Lebenszyklus des Modellrisikos
Generative AI in finance · Model inventory · Committee 7
Lebenszyklus
- Bestandregistriert
- Entwickelndokumentiert
- Validierenunabhängig
- GenehmigenAusschuss
- UmsetzenKontrollen
- MonitoringSchwellenwerte
- Prüfungjährlich
- Außer Betrieb nehmenStilllegung
Modelle
| MD-264 PD Mengengeschäft | Stufe 1 | 12 Monate | 2 | Überfällig |
| MD-251 Triage von Beschwerden mit LLM | Stufe 1 | nie | 0 | Nicht validiert |
| MD-297 IFRS-9-Stufenzuordnung | Stufe 1 | 5 Monate | 2 | Genehmigt |
| MD-784 Marketingneigung | Stufe 3 | 6 Monate | 1 | Genehmigt |
Validierungsumfang
- Konzeptionelle Stichhaltigkeit
- In Bearbeitung
- Ergebnisanalyse
- Ausstehend
- Benchmarking
- Ausstehend
- Nutzungsgrenzen
- menschliche Prüfung erforderlich
Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.
Generative AI in finance: how the risk develops.
Anwendungsfälle und Kontrollen bei Ausfällen. Das folgende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.
Flüssig, aber falsch
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
Eingaben können als Waffe missbraucht werden
Prompt Injection über Dokumente, E-Mails oder Webseiten kann ein Modell dazu bringen, Anweisungen zu ignorieren, Daten preiszugeben oder unbeabsichtigte Handlungen auszuführen, insbesondere wenn es mit Werkzeugen verbunden ist.
Data leaks across boundaries
Vertrauliche Informationen, die in externe Dienste eingegeben oder in Antworten abgerufen werden, können Personen erreichen, die dazu nicht berechtigt sind. Die Bedingungen der Datenverarbeitung und die Zugriffskontrollen bestimmen das Ausmaß der Exposition.
Verhalten ändert sich mit Versionen
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
Was generative KI im Finanzwesen für Exposition, Verlust und Kapital bedeutet.
Die Ansichten zu Exposition, Verlust, Szenario und Kapital, die eine Risikoverantwortliche, ein Aufseher oder ein Finanzministerium verlangen würde, samt den Rahmenwerken, gegen die berichtet wird. Die Strukturen folgen der aufsichtsrechtlichen und versicherungsmathematischen Praxis. Die Werte sind illustrativ: niemals Preise, Ratings oder Beratung.
Transmissionskanäle
Wie ein Schock bei generativer KI im Finanzwesen Kredit-, Markt-, Zeichnungs-, Liquiditäts- und operationelle Risiken erreicht und zurückwirkt.
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Anwendungsfälle generativer KI im Produktivbetrieb | Anzahl nach Risikostufe | vierteljährlich | Register der Anwendungsfälle | DEKLARIERT |
| Rate sachlicher Fehler bei Evaluierungsdatensätzen | Anteil der Antworten | pro Auswertung | Internal evaluation | GESCHÄTZT |
| Fehlgeschlagene Tests auf Prompt-Injection | count per test cycle | pro Test | Ergebnisse des Red-Team-Tests | BEOBACHTET |
| Ereignisse zur Verhinderung von Datenverlust im Zusammenhang mit KI-Werkzeugen | Anzahl | monatlich | Sicherheitsüberwachung | BEOBACHTET |
| Customer complaints linked to AI-generated content | Anzahl | vierteljährlich | Beschwerdedaten | BERICHTET |
| Model version changes by providers | Anzahl | pro Jahr | Hinweise von Anbietern | BERICHTET |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| FSB-Bericht zu den Auswirkungen von KI auf die Finanzstabilität | Verwundbarkeiten durch den Einsatz von KI im Finanzwesen | Kostenlos, FSB-Bedingungen |
| IOSCO-Bericht über KI-Anwendungsfälle, Risiken und Herausforderungen | KI-Einsatz an den Kapitalmärkten | Kostenlos, IOSCO-Bedingungen |
| NIST-AI-RMF-Profil für generative KI | Risiken und Maßnahmen speziell für generative KI | Gemeinfrei |
| OWASP Top 10 for large language model applications | Häufige Sicherheitsrisiken in LLM-Anwendungen | Kostenlos, CC BY-SA |
| KI-Umfragen der Bank of England und der FCA | Adoption and governance of AI in UK finance | Kostenfrei, Bedingungen der Bank of England und der FCA |
Wer entscheidet und wozu die Evidenz dient.
KI und finanzielles Modellrisiko bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen, nie von der Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Verwaltungsräte und Geschäftsleitungen | Wo generative KI eingesetzt werden darf und mit welchen Kontrollen | Use case risk tiers and evaluation results |
| Funktionen für Modellrisiko und Sicherheit | Wie generative KI validiert und abgesichert wird | Evidenz aus Evaluierung, Red-Teaming und Überwachung |
| Verhaltensaufsichtsbehörden | Ob kundenorientierte KI Verhaltens- und Offenlegungspflichten erfüllt | Beschwerden und Ergebnisnachweise |
| Beschaffungs- und Rechtsteams | Which providers and data terms are acceptable | Vertragsbedingungen und Nachweise zur Datenhandhabung |
Ergebnisse, die dieses Thema hervorbringt
- Leitfaden zu Fehlermodi generativer KI in Finanzdienstleistungen
- Method note on evaluating factual accuracy and grounding
- Kurzdarstellung zu Prompt Injection und werkzeugverbundenen Assistenten
- Fragen an Verwaltungsräte zu Anwendungsfällen generativer KI
Was Fachleute fragen.
Fragen zur generativen KI beginnen mit dem Anwendungsfall und seinen Folgen.
- Wofür wird das Werkzeug eingesetzt, und was geschieht, wenn seine Ausgabe falsch ist?
- Wie wird die Genauigkeit der Ergebnisse überprüft, bevor sie Kundinnen und Kunden oder Entscheidungen beeinflusst?
- Welche Daten werden an das Modell gesendet, und könnten vertrauliche Informationen abfließen?
- Wie werden Prompts, Versionen und Ausgaben zur Rechenschaft protokolliert?
- Wie abhängig ist die Institution von einem einzelnen Anbieter, und was geschieht, wenn sich der Dienst ändert oder ausfällt?
Mechanismen und Treiber.
Große Sprachmodelle erzeugen Text, indem sie wahrscheinliche Fortsetzungen vorhersagen. Sie können flüssige, plausible Ausgaben hervorbringen, die falsch sind, was dort besonders ins Gewicht fällt, wo Genauigkeit erforderlich ist. Ihr Verhalten kann sich ändern, wenn Anbieter Modelle aktualisieren, und sie lassen sich durch gezielt gestaltete Eingaben manipulieren. Ihre Ausgaben sind schwer erschöpfend zu prüfen, weil der Raum möglicher Eingaben riesig ist.
Das Risiko hängt stark von der Verwendung ab. Das Entwerfen einer internen Zusammenfassung, die eine Fachperson prüft, birgt ein anderes Risiko als die direkte Beantwortung von Kundenanfragen oder die Information von Kreditentscheidungen. Kontrollen skalieren daher mit der Tragweite: menschliche Prüfung, eingeschränkte Daten, Abruf aus zugelassenen Quellen, Tests an bekannten Fällen und Überwachung der Ausgaben.
Wie es untersucht wird und wo die Methoden enden.
| Methode oder Daten | Was es zeigt | Grenzen |
|---|---|---|
| Use-case risk assessment | Folgen eines Ausfalls nach Anwendung | Informelle Nutzungen werden möglicherweise nicht erfasst |
| Bewertung anhand von Testdatensätzen | Genauigkeit und Fehlerquoten bei bekannten Fällen | Kann nicht alle realen Eingaben abdecken |
| Red-Teaming und Adversarial Testing | Vulnerability to manipulation | Finds some weaknesses, not all |
| Überwachung und Protokollierung von Ausgaben | Errors and incidents in use | Subtile Fehler zu erkennen ist schwierig |
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Künstliche Intelligenz und maschinelles LernenGradient-Boosting-Kreditmodelle · Sprachmodelle im Betrieb · AnomalieerkennungHier angewandt
- 02Engineering für KI-Evaluierung und -AssuranceValidierung von Modellen des maschinellen Lernens · Red-Teaming generativer KI · FairnessbewertungHier angewandt
- 03Unsicherheitsquantifizierung und ModellvalidierungVorhersageintervalle für Verlustmodelle · Modellensembles · Kapital- oder Puffer für ModellrisikoHier angewandt
- 04Wahrscheinlichkeit und StatistikKalibrierungstests · Driftstatistiken · Vergleich der Ergebnisse zwischen GruppenHier angewandt
Fragen und Antworten.
Ist ein großes Sprachmodell ein Modell im Sinne der Modellrisikovorschriften?
Was ist Prompt Injection?
Was ist Grounding?
Warum erzeugen Sprachmodelle falsche Informationen?
Sollte generative KI Kredit- oder Schadenentscheidungen treffen?
Bewertet die Plattform bestimmte KI-Produkte?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- E-MailPortal GW-GRAVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Frage zu Exposition oder Kapital in die Alliance ein.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.