Skip to content

GRA · Yapay Zekâ ve Finansal Model Riski

Mekânsal finansSermayenin tehlike, maruziyet ve geçişle buluştuğu yer

Finansta üretken yapay zekâ

Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.

01Tuval

İşin nasıl yürüdüğü.

Sistemler · bu konunun çevresindeAçıklayıcı

Model riski yaşam döngüsü

Generative AI in finance · Model inventory · Committee 7

3 validations overdueGRA · AI and Financial Model Risk

Yaşam döngüsü

  1. Envanterkayıtlı
  2. Geliştirinbelgelendi
  3. Doğrulayınbağımsız
  4. Onaylamakomite
  5. Uygulamakontroller
  6. İzlemeeşikler
  7. İncelemeyıllık
  8. Kullanımdan kaldırındevreden çıkarma

Modeller

MD-264 PD retailKademe 112 ay2Süresi geçti
MD-251 LLM complaints triageKademe 1asla0Doğrulanmadı
MD-297 IFRS 9 stagingKademe 15 months2Onaylandı
MD-784 pazarlama eğilimiKademe 36 ay1Onaylandı

Doğrulama kapsamı

Kavramsal sağlamlık
Sürüyor
Sonuç analizi
Beklemede
Kıyaslama
Beklemede
Kullanım sınırları
insan incelemesi gerekli
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Şek.Model risk yaşam döngüsü: örnek adlar ve açıklayıcı değerler; bir kayıt ya da canlı bir sistem değildir.

02Soru

Generative AI in finance: how the risk develops.

Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mekanizma

Akıcı ama yanlış

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

Mekanizma

Inputs can be weaponised

Prompt injection through documents, emails or web pages can make a model ignore instructions, reveal data or take unintended actions, especially when it is connected to tools.

Mekanizma

Veriler sınırlar arasında sızar

Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.

Mekanizma

Behaviour changes with versions

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03Maruziyet, kayıp ve sermaye

Finansta Üretken Yapay Zekanın maruziyet, kayıp ve sermaye açısından ne anlama geldiği.

Bir risk yöneticisinin, denetim kurumunun veya maliye bakanlığının talep edeceği maruziyet, kayıp, senaryo ve sermaye görünümleri ile raporlama yaptıkları çerçeveler. Yapılar denetim ve aktüerya uygulamalarını izler. Değerler açıklayıcıdır: asla fiyat, derecelendirme veya tavsiye değildir.

Aktarım kanalları

How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS iklim senaryoları · Network for Greening the Financial SystemIFRS S2 İklimle İlgili Açıklamalar · ISSBTCFD tavsiyeleri · Finansal İstikrar Kurulu TCFDİklimle ilgili finansal risklerin etkin yönetimine ilişkin ilkeler · Basel Bankacılık Denetim Komitesi
04Göstergeler

Neyin ve ne kadar iyi ölçüldüğü.

Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.

GöstergeBirimSıklıkKaynak türüEtiket
Generative AI use cases in productioncount by risk tierüç ayda birKullanım durumu kaydıBEYAN EDİLDİ
Factual error rate on evaluation setsyanıtların payıdeğerlendirme başınaInternal evaluationTAHMİNİ
Prompt injection test failurescount per test cycletest başınaRed-team resultsGÖZLENEN
Data loss prevention events involving AI toolssayıaylıkGüvenlik izlemeGÖZLENEN
Yapay zekâ ile üretilen içerikle ilişkili müşteri şikâyetlerisayıüç ayda birŞikâyet verileriBİLDİRİLMİŞ
Model version changes by providerssayıyıldaVendor noticesBİLDİRİLMİŞ
05Kaynaklar

Kanıtın nereden geldiği.

Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.

KaynakSağladıklarıLisans sınıfı
FSB'nin yapay zekânın finansal istikrar üzerindeki etkilerine ilişkin raporuVulnerabilities from AI adoption in financeÜcretsiz, FSB koşulları
IOSCO'nun yapay zekâ kullanım alanları, riskleri ve zorlukları hakkındaki raporuAI use in capital marketsÜcretsiz, IOSCO koşulları
NIST AI RMF generative AI profileRisks and actions specific to generative AIKamu malı
Büyük dil modeli uygulamaları için OWASP İlk 10LLM uygulamalarında yaygın güvenlik riskleriFree, CC BY-SA
Bank of England and FCA AI surveysAdoption and governance of AI in UK financeÜcretsiz, Bank of England ve FCA koşulları
06Kararlar

Kim karar verir ve kanıt neye hizmet eder.

Yapay Zekâ ve Finansal Model Riski kanıt hazırlar. Aşağıdaki kararları, kendi kuralları çerçevesinde adı geçen yetkili makamlar alır; platform asla almaz.

Kim karar verirSoruBu sayfanın hizmet ettiği kanıt
Yönetim kurulları ve icra komiteleriWhere generative AI may be used and with what controlsUse case risk tiers and evaluation results
Model riski ve güvenlik işlevleriHow generative AI is validated and securedEvaluation, red-team and monitoring evidence
Conduct supervisorsWhether customer-facing AI meets conduct and disclosure dutiesComplaints and outcome evidence
Procurement and legal teamsWhich providers and data terms are acceptableSözleşme şartları ve veri işleme kanıtları

Bu konunun ürettiği çıktılar

  • Guide to generative AI failure modes in financial services
  • Method note on evaluating factual accuracy and grounding
  • Brief on prompt injection and tool-connected assistants
  • Yönetim kurulları için üretken yapay zekâ kullanım senaryolarına ilişkin sorular
07Temel sorular

Uzmanların sordukları.

Generative AI questions start with the use case and its consequences.

  • What is the tool being used for, and what happens if its output is wrong?
  • How is the accuracy of output verified before it affects customers or decisions?
  • What data is sent to the model, and could confidential information leak?
  • How are prompts, versions and outputs logged for accountability?
  • How dependent is the institution on a single provider, and what happens if the service changes or fails?
08Mekanizmalar

Mekanizmalar ve etkenler.

Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.

Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.

09Yöntemler ve veriler

Nasıl incelendiği ve yöntemlerin nerede durduğu.

Yöntem veya veriGösterdiğiSınırlar
Use-case risk assessmentConsequences of failure by applicationInformal uses may not be captured
Test kümelerine karşı değerlendirmeAccuracy and failure rates on known casesTüm gerçek girdileri kapsayamaz
Kırmızı takım çalışması ve çekişmeli testVulnerability to manipulationFinds some weaknesses, not all
Output monitoring and loggingErrors and incidents in useDetecting subtle errors is hard
10Yöntemler

Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.

11Sorular

Sorular ve yanıtlar.

Is a large language model a model under model risk rules?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
İstem enjeksiyonu (prompt injection) nedir?
An attack in which instructions hidden in inputs, such as a document or web page, cause a language model to ignore its intended instructions or take unintended actions.
What is grounding?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Why do language models produce false information?
Because they generate statistically likely text rather than retrieving verified facts. Without grounding and checks, they can produce plausible but incorrect output.
Should generative AI make credit or claims decisions?
That is for institutions and regulators to decide. Where the consequences for people are significant, strong human oversight and testing are widely expected.
Does the platform evaluate specific AI products?
No. GRA does not evaluate, rate or endorse products or vendors.
RaporlarKatkıda bulunun

Bu sayfadan kanıt katkısında bulunun.

Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Yapay Zekâ ve Finansal Model Riski

Bir maruziyet veya sermaye sorusunu İttifak'a getirin.

Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.