Skip to content

GRA · KI und Risiken von Finanzmodellen

Räumliche FinanzanalyseWo Kapital auf Gefahr, Exposition und Transition trifft

Generative KI im Finanzwesen

Finanzunternehmen nutzen große Sprachmodelle, um Dokumente zu entwerfen, Kundenfragen zu beantworten, Recherchen zusammenzufassen, Code zu schreiben und Analysten zu unterstützen. Generative KI erzeugt flüssige Ausgaben, die falsch sein können, Daten preisgeben können und sich über ihre Eingaben manipulieren lassen. Diese Seite beschreibt, wie Risiken generativer KI in Finanzdienstleistungen entstehen, wie sie gemessen und kontrolliert werden und wer entscheidet, wo sie eingesetzt werden darf.

01Arbeitsfläche

Wie die Arbeit abläuft.

Systeme · rund um dieses ThemaVeranschaulichend

Lebenszyklus des Modellrisikos

Generative AI in finance · Model inventory · Committee 7

3 Validierungen überfälligGRA · KI und Risiken von Finanzmodellen

Lebenszyklus

  1. Bestandregistriert
  2. Entwickelndokumentiert
  3. Validierenunabhängig
  4. GenehmigenAusschuss
  5. UmsetzenKontrollen
  6. MonitoringSchwellenwerte
  7. Prüfungjährlich
  8. Außer Betrieb nehmenStilllegung

Modelle

MD-264 PD MengengeschäftStufe 112 Monate2Überfällig
MD-251 Triage von Beschwerden mit LLMStufe 1nie0Nicht validiert
MD-297 IFRS-9-StufenzuordnungStufe 15 Monate2Genehmigt
MD-784 MarketingneigungStufe 36 Monate1Genehmigt

Validierungsumfang

Konzeptionelle Stichhaltigkeit
In Bearbeitung
Ergebnisanalyse
Ausstehend
Benchmarking
Ausstehend
Nutzungsgrenzen
menschliche Prüfung erforderlich
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.

02Die Frage

Generative AI in finance: how the risk develops.

Anwendungsfälle und Kontrollen bei Ausfällen. Das folgende Dossier legt dar, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.

Mechanismus

Flüssig, aber falsch

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

Mechanismus

Eingaben können als Waffe missbraucht werden

Prompt Injection über Dokumente, E-Mails oder Webseiten kann ein Modell dazu bringen, Anweisungen zu ignorieren, Daten preiszugeben oder unbeabsichtigte Handlungen auszuführen, insbesondere wenn es mit Werkzeugen verbunden ist.

Mechanismus

Data leaks across boundaries

Vertrauliche Informationen, die in externe Dienste eingegeben oder in Antworten abgerufen werden, können Personen erreichen, die dazu nicht berechtigt sind. Die Bedingungen der Datenverarbeitung und die Zugriffskontrollen bestimmen das Ausmaß der Exposition.

Mechanismus

Verhalten ändert sich mit Versionen

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03Exposition, Verlust und Kapital

Was generative KI im Finanzwesen für Exposition, Verlust und Kapital bedeutet.

Die Ansichten zu Exposition, Verlust, Szenario und Kapital, die eine Risikoverantwortliche, ein Aufseher oder ein Finanzministerium verlangen würde, samt den Rahmenwerken, gegen die berichtet wird. Die Strukturen folgen der aufsichtsrechtlichen und versicherungsmathematischen Praxis. Die Werte sind illustrativ: niemals Preise, Ratings oder Beratung.

Transmissionskanäle

Wie ein Schock bei generativer KI im Finanzwesen Kredit-, Markt-, Zeichnungs-, Liquiditäts- und operationelle Risiken erreicht und zurückwirkt.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS climate scenarios · Network for Greening the Financial SystemIFRS S2 Climate-related Disclosures · ISSBTCFD recommendations · Financial Stability Board TCFDPrinciples for the effective management of climate-related financial risks · Basel Committee on Banking Supervision
04Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Anwendungsfälle generativer KI im ProduktivbetriebAnzahl nach RisikostufevierteljährlichRegister der AnwendungsfälleDEKLARIERT
Rate sachlicher Fehler bei EvaluierungsdatensätzenAnteil der Antwortenpro AuswertungInternal evaluationGESCHÄTZT
Fehlgeschlagene Tests auf Prompt-Injectioncount per test cyclepro TestErgebnisse des Red-Team-TestsBEOBACHTET
Ereignisse zur Verhinderung von Datenverlust im Zusammenhang mit KI-WerkzeugenAnzahlmonatlichSicherheitsüberwachungBEOBACHTET
Customer complaints linked to AI-generated contentAnzahlvierteljährlichBeschwerdedatenBERICHTET
Model version changes by providersAnzahlpro JahrHinweise von AnbieternBERICHTET
05Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
FSB-Bericht zu den Auswirkungen von KI auf die FinanzstabilitätVerwundbarkeiten durch den Einsatz von KI im FinanzwesenKostenlos, FSB-Bedingungen
IOSCO-Bericht über KI-Anwendungsfälle, Risiken und HerausforderungenKI-Einsatz an den KapitalmärktenKostenlos, IOSCO-Bedingungen
NIST-AI-RMF-Profil für generative KIRisiken und Maßnahmen speziell für generative KIGemeinfrei
OWASP Top 10 for large language model applicationsHäufige Sicherheitsrisiken in LLM-AnwendungenKostenlos, CC BY-SA
KI-Umfragen der Bank of England und der FCAAdoption and governance of AI in UK financeKostenfrei, Bedingungen der Bank of England und der FCA
06Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

KI und finanzielles Modellrisiko bereitet Evidenz auf. Die nachstehenden Entscheidungen werden von den genannten Behörden nach ihren eigenen Regeln getroffen, nie von der Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
Verwaltungsräte und GeschäftsleitungenWo generative KI eingesetzt werden darf und mit welchen KontrollenUse case risk tiers and evaluation results
Funktionen für Modellrisiko und SicherheitWie generative KI validiert und abgesichert wirdEvidenz aus Evaluierung, Red-Teaming und Überwachung
VerhaltensaufsichtsbehördenOb kundenorientierte KI Verhaltens- und Offenlegungspflichten erfülltBeschwerden und Ergebnisnachweise
Beschaffungs- und RechtsteamsWhich providers and data terms are acceptableVertragsbedingungen und Nachweise zur Datenhandhabung

Ergebnisse, die dieses Thema hervorbringt

  • Leitfaden zu Fehlermodi generativer KI in Finanzdienstleistungen
  • Method note on evaluating factual accuracy and grounding
  • Kurzdarstellung zu Prompt Injection und werkzeugverbundenen Assistenten
  • Fragen an Verwaltungsräte zu Anwendungsfällen generativer KI
07Kernfragen

Was Fachleute fragen.

Fragen zur generativen KI beginnen mit dem Anwendungsfall und seinen Folgen.

  • Wofür wird das Werkzeug eingesetzt, und was geschieht, wenn seine Ausgabe falsch ist?
  • Wie wird die Genauigkeit der Ergebnisse überprüft, bevor sie Kundinnen und Kunden oder Entscheidungen beeinflusst?
  • Welche Daten werden an das Modell gesendet, und könnten vertrauliche Informationen abfließen?
  • Wie werden Prompts, Versionen und Ausgaben zur Rechenschaft protokolliert?
  • Wie abhängig ist die Institution von einem einzelnen Anbieter, und was geschieht, wenn sich der Dienst ändert oder ausfällt?
08Mechanismen

Mechanismen und Treiber.

Große Sprachmodelle erzeugen Text, indem sie wahrscheinliche Fortsetzungen vorhersagen. Sie können flüssige, plausible Ausgaben hervorbringen, die falsch sind, was dort besonders ins Gewicht fällt, wo Genauigkeit erforderlich ist. Ihr Verhalten kann sich ändern, wenn Anbieter Modelle aktualisieren, und sie lassen sich durch gezielt gestaltete Eingaben manipulieren. Ihre Ausgaben sind schwer erschöpfend zu prüfen, weil der Raum möglicher Eingaben riesig ist.

Das Risiko hängt stark von der Verwendung ab. Das Entwerfen einer internen Zusammenfassung, die eine Fachperson prüft, birgt ein anderes Risiko als die direkte Beantwortung von Kundenanfragen oder die Information von Kreditentscheidungen. Kontrollen skalieren daher mit der Tragweite: menschliche Prüfung, eingeschränkte Daten, Abruf aus zugelassenen Quellen, Tests an bekannten Fällen und Überwachung der Ausgaben.

09Methoden und Daten

Wie es untersucht wird und wo die Methoden enden.

Methode oder DatenWas es zeigtGrenzen
Use-case risk assessmentFolgen eines Ausfalls nach AnwendungInformelle Nutzungen werden möglicherweise nicht erfasst
Bewertung anhand von TestdatensätzenGenauigkeit und Fehlerquoten bei bekannten FällenKann nicht alle realen Eingaben abdecken
Red-Teaming und Adversarial TestingVulnerability to manipulationFinds some weaknesses, not all
Überwachung und Protokollierung von AusgabenErrors and incidents in useSubtile Fehler zu erkennen ist schwierig
10Methoden

Wie es untersucht wird und was die Methoden nicht sagen können.

  1. Künstliche Intelligenz und maschinelles LernenGradient-Boosting-Kreditmodelle · Sprachmodelle im Betrieb · AnomalieerkennungHier angewandt
  2. Engineering für KI-Evaluierung und -AssuranceValidierung von Modellen des maschinellen Lernens · Red-Teaming generativer KI · FairnessbewertungHier angewandt
  3. Unsicherheitsquantifizierung und ModellvalidierungVorhersageintervalle für Verlustmodelle · Modellensembles · Kapital- oder Puffer für ModellrisikoHier angewandt
  4. Wahrscheinlichkeit und StatistikKalibrierungstests · Driftstatistiken · Vergleich der Ergebnisse zwischen GruppenHier angewandt
11Fragen

Fragen und Antworten.

Ist ein großes Sprachmodell ein Modell im Sinne der Modellrisikovorschriften?
Aufsichtsbehörden behandeln KI-Werkzeuge, die Entscheidungen stützen, zunehmend als Modelle oder als Teil des Modellrisikos und erwarten von den Unternehmen, sie verhältnismäßig zu ihrer Verwendung zu steuern.
Was ist Prompt Injection?
An attack in which instructions hidden in inputs, such as a document or web page, cause a language model to ignore its intended instructions or take unintended actions.
Was ist Grounding?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Warum erzeugen Sprachmodelle falsche Informationen?
Weil sie statistisch wahrscheinlichen Text erzeugen, statt überprüfte Fakten abzurufen. Ohne Verankerung und Kontrollen können sie plausible, aber falsche Ergebnisse hervorbringen.
Sollte generative KI Kredit- oder Schadenentscheidungen treffen?
Das ist von Institutionen und Aufsichtsbehörden zu entscheiden. Wo die Folgen für Menschen erheblich sind, wird allgemein eine starke menschliche Aufsicht und Prüfung erwartet.
Bewertet die Plattform bestimmte KI-Produkte?
Nein. GRA bewertet, beurteilt oder empfiehlt keine Produkte oder Anbieter.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
KI und Risiken von Finanzmodellen

Bringen Sie eine Frage zu Exposition oder Kapital in die Alliance ein.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.