GRA · Risiko AI dan Model Keuangan
Keuangan spasialTempat modal bertemu bahaya, keterpaparan, dan transisi
AI generatif di bidang keuangan
Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.
Bagaimana pekerjaan berjalan.
Siklus hidup risiko model
Generative AI in finance · Model inventory · Committee 7
Siklus hidup
- Inventaristerdaftar
- Kembangkanterdokumentasi
- Validasiindependen
- Menyetujuikomite
- Terapkankontrol
- Pantauambang batas
- Tinjauantahunan
- Pensiunkannonaktifkan
Model
| MD-264 PD retail | Tingkat 1 | 12 bulan | 2 | Lewat tenggat |
| MD-251 LLM complaints triage | Tingkat 1 | tidak pernah | 0 | Belum divalidasi |
| MD-297 IFRS 9 staging | Tingkat 1 | 5 months | 2 | Disetujui |
| MD-784 kecenderungan pemasaran | Tingkatan 3 | 6 bulan | 1 | Disetujui |
Cakupan validasi
- Kesahihan konseptual
- Sedang berjalan
- Analisis hasil
- Tertunda
- Pembandingan
- Tertunda
- Batas penggunaan
- perlu tinjauan manusia
Gbr.Siklus hidup risiko model: nama contoh dan nilai ilustratif, bukan catatan maupun sistem yang sedang berjalan.
AI generatif di bidang keuangan: bagaimana risiko berkembang.
Kasus penggunaan dan pengendalian kegagalan. Dosir di bawah ini menguraikan bagaimana risiko berkembang, apa yang diukur, dari mana data berasal, bagaimana pemodelannya, dan siapa yang memutuskan.
Fasih tetapi keliru
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
Inputs can be weaponised
Prompt injection through documents, emails or web pages can make a model ignore instructions, reveal data or take unintended actions, especially when it is connected to tools.
Kebocoran data lintas batas
Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.
Perilaku berubah seiring versi
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
What Generative AI in finance means for exposure, loss and capital.
Tampilan eksposur, kerugian, skenario, dan modal yang akan diminta oleh pejabat risiko, otoritas pengawas, atau kementerian keuangan, beserta kerangka pelaporan yang mereka gunakan. Strukturnya mengikuti praktik pengawasan dan aktuaria. Nilai bersifat ilustratif: tidak pernah merupakan harga, peringkat, atau saran.
Saluran transmisi
How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Apa yang diukur, dan seberapa baik.
Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.
| Indikator | Unit | Kadensi | Jenis sumber | Label |
|---|---|---|---|---|
| Generative AI use cases in production | count by risk tier | setiap kuartal | Register kasus penggunaan | DINYATAKAN |
| Tingkat kesalahan faktual pada set evaluasi | share of responses | per evaluasi | Evaluasi internal | ESTIMASI |
| Prompt injection test failures | count per test cycle | per pengujian | Red-team results | TERAMATI |
| Data loss prevention events involving AI tools | jumlah | setiap bulan | Security monitoring | TERAMATI |
| Keluhan pelanggan yang terkait dengan konten buatan AI | jumlah | setiap kuartal | Data pengaduan | DILAPORKAN |
| Model version changes by providers | jumlah | per tahun | Pemberitahuan vendor | DILAPORKAN |
Asal bukti.
Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.
| Sumber | Apa yang diberikannya | Kelas lisensi |
|---|---|---|
| Laporan FSB tentang implikasi AI terhadap stabilitas keuangan | Kerentanan akibat adopsi AI di sektor keuangan | Gratis, ketentuan FSB |
| Laporan IOSCO tentang kasus penggunaan, risiko, dan tantangan AI | Penggunaan AI di pasar modal | Gratis, ketentuan IOSCO |
| NIST AI RMF generative AI profile | Risiko dan tindakan khusus untuk AI generatif | Domain publik |
| OWASP Top 10 untuk aplikasi model bahasa besar | Risiko keamanan umum pada aplikasi LLM | Free, CC BY-SA |
| Bank of England and FCA AI surveys | Adoption and governance of AI in UK finance | Gratis, ketentuan Bank of England dan FCA |
Siapa yang memutuskan, dan apa yang dilayani bukti.
Risiko AI dan Model menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.
| Siapa yang memutuskan | Pertanyaannya | Bukti yang dilayani halaman ini |
|---|---|---|
| Dewan direksi dan komite eksekutif | Where generative AI may be used and with what controls | Use case risk tiers and evaluation results |
| Model risk and security functions | How generative AI is validated and secured | Evaluation, red-team and monitoring evidence |
| Conduct supervisors | Apakah AI yang berhadapan dengan nasabah memenuhi kewajiban perilaku dan pengungkapan | Bukti pengaduan dan hasilnya |
| Tim pengadaan dan hukum | Penyedia dan ketentuan data mana yang dapat diterima | Ketentuan kontrak dan bukti penanganan data |
Keluaran yang dihasilkan topik ini
- Guide to generative AI failure modes in financial services
- Method note on evaluating factual accuracy and grounding
- Brief on prompt injection and tool-connected assistants
- Pertanyaan bagi dewan direksi tentang kasus penggunaan AI generatif
Apa yang ditanyakan pakar.
Pertanyaan tentang AI generatif dimulai dari kasus penggunaan dan konsekuensinya.
- What is the tool being used for, and what happens if its output is wrong?
- How is the accuracy of output verified before it affects customers or decisions?
- What data is sent to the model, and could confidential information leak?
- How are prompts, versions and outputs logged for accountability?
- How dependent is the institution on a single provider, and what happens if the service changes or fails?
Mekanisme dan pendorong.
Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.
Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.
Cara hal ini dikaji, dan di mana batas metodenya.
| Metode atau data | Apa yang ditampilkannya | Batasan |
|---|---|---|
| Use-case risk assessment | Konsekuensi kegagalan menurut aplikasi | Penggunaan informal mungkin tidak tercatat |
| Evaluasi terhadap set uji | Accuracy and failure rates on known cases | Cannot cover all real inputs |
| Red-teaming dan pengujian adversarial | Vulnerability to manipulation | Finds some weaknesses, not all |
| Pemantauan dan pencatatan keluaran | Errors and incidents in use | Mendeteksi kesalahan halus itu sulit |
Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.
- 01Kecerdasan buatan dan pembelajaran mesinModel kredit gradient-boosted · Model bahasa dalam operasi · Deteksi anomaliDiterapkan di sini
- 02Evaluasi AI dan rekayasa penjaminanValidasi model pembelajaran mesin · Red-teaming AI generatif · Penilaian keadilanDiterapkan di sini
- 03Kuantifikasi ketidakpastian dan validasi modelInterval prediksi untuk model kerugian · Ansambel model · Modal atau penyangga risiko modelDiterapkan di sini
- 04Probabilitas dan statistikaPengujian kalibrasi · Statistik pergeseran · Perbandingan hasil antarkelompokDiterapkan di sini
Tanya jawab.
Apakah model bahasa besar termasuk model dalam aturan risiko model?
Apa itu prompt injection?
Apa itu grounding?
Mengapa model bahasa menghasilkan informasi yang salah?
Should generative AI make credit or claims decisions?
Does the platform evaluate specific AI products?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GRAKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Ajukan pertanyaan eksposur atau modal kepada Aliansi.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.