GRA · Yapay Zekâ ve Finansal Model Riski
Mekânsal finansSermayenin tehlike, maruziyet ve geçişle buluştuğu yer
Finansta üretken yapay zekâ
Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.
İşin nasıl yürüdüğü.
Model riski yaşam döngüsü
Generative AI in finance · Model inventory · Committee 7
Yaşam döngüsü
- Envanterkayıtlı
- Geliştirinbelgelendi
- Doğrulayınbağımsız
- Onaylamakomite
- Uygulamakontroller
- İzlemeeşikler
- İncelemeyıllık
- Kullanımdan kaldırındevreden çıkarma
Modeller
| MD-264 PD retail | Kademe 1 | 12 ay | 2 | Süresi geçti |
| MD-251 LLM complaints triage | Kademe 1 | asla | 0 | Doğrulanmadı |
| MD-297 IFRS 9 staging | Kademe 1 | 5 months | 2 | Onaylandı |
| MD-784 pazarlama eğilimi | Kademe 3 | 6 ay | 1 | Onaylandı |
Doğrulama kapsamı
- Kavramsal sağlamlık
- Sürüyor
- Sonuç analizi
- Beklemede
- Kıyaslama
- Beklemede
- Kullanım sınırları
- insan incelemesi gerekli
Şek.Model risk yaşam döngüsü: örnek adlar ve açıklayıcı değerler; bir kayıt ya da canlı bir sistem değildir.
Generative AI in finance: how the risk develops.
Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Akıcı ama yanlış
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
Inputs can be weaponised
Prompt injection through documents, emails or web pages can make a model ignore instructions, reveal data or take unintended actions, especially when it is connected to tools.
Veriler sınırlar arasında sızar
Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.
Behaviour changes with versions
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
Finansta Üretken Yapay Zekanın maruziyet, kayıp ve sermaye açısından ne anlama geldiği.
Bir risk yöneticisinin, denetim kurumunun veya maliye bakanlığının talep edeceği maruziyet, kayıp, senaryo ve sermaye görünümleri ile raporlama yaptıkları çerçeveler. Yapılar denetim ve aktüerya uygulamalarını izler. Değerler açıklayıcıdır: asla fiyat, derecelendirme veya tavsiye değildir.
Aktarım kanalları
How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Neyin ve ne kadar iyi ölçüldüğü.
Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.
| Gösterge | Birim | Sıklık | Kaynak türü | Etiket |
|---|---|---|---|---|
| Generative AI use cases in production | count by risk tier | üç ayda bir | Kullanım durumu kaydı | BEYAN EDİLDİ |
| Factual error rate on evaluation sets | yanıtların payı | değerlendirme başına | Internal evaluation | TAHMİNİ |
| Prompt injection test failures | count per test cycle | test başına | Red-team results | GÖZLENEN |
| Data loss prevention events involving AI tools | sayı | aylık | Güvenlik izleme | GÖZLENEN |
| Yapay zekâ ile üretilen içerikle ilişkili müşteri şikâyetleri | sayı | üç ayda bir | Şikâyet verileri | BİLDİRİLMİŞ |
| Model version changes by providers | sayı | yılda | Vendor notices | BİLDİRİLMİŞ |
Kanıtın nereden geldiği.
Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.
| Kaynak | Sağladıkları | Lisans sınıfı |
|---|---|---|
| FSB'nin yapay zekânın finansal istikrar üzerindeki etkilerine ilişkin raporu | Vulnerabilities from AI adoption in finance | Ücretsiz, FSB koşulları |
| IOSCO'nun yapay zekâ kullanım alanları, riskleri ve zorlukları hakkındaki raporu | AI use in capital markets | Ücretsiz, IOSCO koşulları |
| NIST AI RMF generative AI profile | Risks and actions specific to generative AI | Kamu malı |
| Büyük dil modeli uygulamaları için OWASP İlk 10 | LLM uygulamalarında yaygın güvenlik riskleri | Free, CC BY-SA |
| Bank of England and FCA AI surveys | Adoption and governance of AI in UK finance | Ücretsiz, Bank of England ve FCA koşulları |
Kim karar verir ve kanıt neye hizmet eder.
Yapay Zekâ ve Finansal Model Riski kanıt hazırlar. Aşağıdaki kararları, kendi kuralları çerçevesinde adı geçen yetkili makamlar alır; platform asla almaz.
| Kim karar verir | Soru | Bu sayfanın hizmet ettiği kanıt |
|---|---|---|
| Yönetim kurulları ve icra komiteleri | Where generative AI may be used and with what controls | Use case risk tiers and evaluation results |
| Model riski ve güvenlik işlevleri | How generative AI is validated and secured | Evaluation, red-team and monitoring evidence |
| Conduct supervisors | Whether customer-facing AI meets conduct and disclosure duties | Complaints and outcome evidence |
| Procurement and legal teams | Which providers and data terms are acceptable | Sözleşme şartları ve veri işleme kanıtları |
Bu konunun ürettiği çıktılar
- Guide to generative AI failure modes in financial services
- Method note on evaluating factual accuracy and grounding
- Brief on prompt injection and tool-connected assistants
- Yönetim kurulları için üretken yapay zekâ kullanım senaryolarına ilişkin sorular
Uzmanların sordukları.
Generative AI questions start with the use case and its consequences.
- What is the tool being used for, and what happens if its output is wrong?
- How is the accuracy of output verified before it affects customers or decisions?
- What data is sent to the model, and could confidential information leak?
- How are prompts, versions and outputs logged for accountability?
- How dependent is the institution on a single provider, and what happens if the service changes or fails?
Mekanizmalar ve etkenler.
Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.
Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.
Nasıl incelendiği ve yöntemlerin nerede durduğu.
| Yöntem veya veri | Gösterdiği | Sınırlar |
|---|---|---|
| Use-case risk assessment | Consequences of failure by application | Informal uses may not be captured |
| Test kümelerine karşı değerlendirme | Accuracy and failure rates on known cases | Tüm gerçek girdileri kapsayamaz |
| Kırmızı takım çalışması ve çekişmeli test | Vulnerability to manipulation | Finds some weaknesses, not all |
| Output monitoring and logging | Errors and incidents in use | Detecting subtle errors is hard |
Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.
- 01Yapay zekâ ve makine öğrenmesiGradyan artırmalı kredi modelleri · Operasyonlarda dil modelleri · Anomali tespitiBurada uygulanır
- 02Yapay zekâ değerlendirme ve güvence mühendisliğiMakine öğrenmesi modellerinin doğrulanması · Üretken yapay zekâya yönelik kırmızı takım testleri · Adalet değerlendirmesiBurada uygulanır
- 03Belirsizliğin nicelleştirilmesi ve model doğrulamasıKayıp modelleri için tahmin aralıkları · Model toplulukları · Model riski sermayesi veya tamponlarıBurada uygulanır
- 04Olasılık ve istatistikKalibrasyon testi · Sapma istatistikleri · Grup sonuçlarının karşılaştırılmasıBurada uygulanır
Sorular ve yanıtlar.
Is a large language model a model under model risk rules?
İstem enjeksiyonu (prompt injection) nedir?
What is grounding?
Why do language models produce false information?
Should generative AI make credit or claims decisions?
Does the platform evaluate specific AI products?
Bu sayfadan kanıt katkısında bulunun.
Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.
- E-postaGeçit GW-GRABu sayfadan gönderinKanıt, bir düzeltme, bir vaka, bir yöntem, bir inceleme, bir çeviri veya profil girdisi. Bu sayfayla etiketlenmiş olarak gelir; böylece sayfanın sahibi editör onu alır.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.
Bir maruziyet veya sermaye sorusunu İttifak'a getirin.
Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.
Hukuki belgeler.
Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.