Skip to content

GRA · Risiko AI dan Model Keuangan

Keuangan spasialTempat modal bertemu bahaya, keterpaparan, dan transisi

AI generatif di bidang keuangan

Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.

01Kanvas

Bagaimana pekerjaan berjalan.

Sistem · di sekitar subjek iniIlustratif

Siklus hidup risiko model

Generative AI in finance · Model inventory · Committee 7

3 validations overdueGRA · AI and Financial Model Risk

Siklus hidup

  1. Inventaristerdaftar
  2. Kembangkanterdokumentasi
  3. Validasiindependen
  4. Menyetujuikomite
  5. Terapkankontrol
  6. Pantauambang batas
  7. Tinjauantahunan
  8. Pensiunkannonaktifkan

Model

MD-264 PD retailTingkat 112 bulan2Lewat tenggat
MD-251 LLM complaints triageTingkat 1tidak pernah0Belum divalidasi
MD-297 IFRS 9 stagingTingkat 15 months2Disetujui
MD-784 kecenderungan pemasaranTingkatan 36 bulan1Disetujui

Cakupan validasi

Kesahihan konseptual
Sedang berjalan
Analisis hasil
Tertunda
Pembandingan
Tertunda
Batas penggunaan
perlu tinjauan manusia
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Gbr.Siklus hidup risiko model: nama contoh dan nilai ilustratif, bukan catatan maupun sistem yang sedang berjalan.

02Pertanyaannya

AI generatif di bidang keuangan: bagaimana risiko berkembang.

Kasus penggunaan dan pengendalian kegagalan. Dosir di bawah ini menguraikan bagaimana risiko berkembang, apa yang diukur, dari mana data berasal, bagaimana pemodelannya, dan siapa yang memutuskan.

Mekanisme

Fasih tetapi keliru

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

Mekanisme

Inputs can be weaponised

Prompt injection through documents, emails or web pages can make a model ignore instructions, reveal data or take unintended actions, especially when it is connected to tools.

Mekanisme

Kebocoran data lintas batas

Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.

Mekanisme

Perilaku berubah seiring versi

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03Eksposur, kerugian, dan modal

What Generative AI in finance means for exposure, loss and capital.

Tampilan eksposur, kerugian, skenario, dan modal yang akan diminta oleh pejabat risiko, otoritas pengawas, atau kementerian keuangan, beserta kerangka pelaporan yang mereka gunakan. Strukturnya mengikuti praktik pengawasan dan aktuaria. Nilai bersifat ilustratif: tidak pernah merupakan harga, peringkat, atau saran.

Saluran transmisi

How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Skenario iklim NGFS · Network for Greening the Financial SystemIFRS S2 Pengungkapan terkait Iklim · ISSBRekomendasi TCFD · Financial Stability Board TCFDPrinsip-prinsip pengelolaan efektif risiko keuangan terkait iklim · Basel Committee on Banking Supervision
04Indikator

Apa yang diukur, dan seberapa baik.

Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.

IndikatorUnitKadensiJenis sumberLabel
Generative AI use cases in productioncount by risk tiersetiap kuartalRegister kasus penggunaanDINYATAKAN
Tingkat kesalahan faktual pada set evaluasishare of responsesper evaluasiEvaluasi internalESTIMASI
Prompt injection test failurescount per test cycleper pengujianRed-team resultsTERAMATI
Data loss prevention events involving AI toolsjumlahsetiap bulanSecurity monitoringTERAMATI
Keluhan pelanggan yang terkait dengan konten buatan AIjumlahsetiap kuartalData pengaduanDILAPORKAN
Model version changes by providersjumlahper tahunPemberitahuan vendorDILAPORKAN
05Sumber

Asal bukti.

Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.

SumberApa yang diberikannyaKelas lisensi
Laporan FSB tentang implikasi AI terhadap stabilitas keuanganKerentanan akibat adopsi AI di sektor keuanganGratis, ketentuan FSB
Laporan IOSCO tentang kasus penggunaan, risiko, dan tantangan AIPenggunaan AI di pasar modalGratis, ketentuan IOSCO
NIST AI RMF generative AI profileRisiko dan tindakan khusus untuk AI generatifDomain publik
OWASP Top 10 untuk aplikasi model bahasa besarRisiko keamanan umum pada aplikasi LLMFree, CC BY-SA
Bank of England and FCA AI surveysAdoption and governance of AI in UK financeGratis, ketentuan Bank of England dan FCA
06Keputusan

Siapa yang memutuskan, dan apa yang dilayani bukti.

Risiko AI dan Model menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.

Siapa yang memutuskanPertanyaannyaBukti yang dilayani halaman ini
Dewan direksi dan komite eksekutifWhere generative AI may be used and with what controlsUse case risk tiers and evaluation results
Model risk and security functionsHow generative AI is validated and securedEvaluation, red-team and monitoring evidence
Conduct supervisorsApakah AI yang berhadapan dengan nasabah memenuhi kewajiban perilaku dan pengungkapanBukti pengaduan dan hasilnya
Tim pengadaan dan hukumPenyedia dan ketentuan data mana yang dapat diterimaKetentuan kontrak dan bukti penanganan data

Keluaran yang dihasilkan topik ini

  • Guide to generative AI failure modes in financial services
  • Method note on evaluating factual accuracy and grounding
  • Brief on prompt injection and tool-connected assistants
  • Pertanyaan bagi dewan direksi tentang kasus penggunaan AI generatif
07Pertanyaan inti

Apa yang ditanyakan pakar.

Pertanyaan tentang AI generatif dimulai dari kasus penggunaan dan konsekuensinya.

  • What is the tool being used for, and what happens if its output is wrong?
  • How is the accuracy of output verified before it affects customers or decisions?
  • What data is sent to the model, and could confidential information leak?
  • How are prompts, versions and outputs logged for accountability?
  • How dependent is the institution on a single provider, and what happens if the service changes or fails?
08Mekanisme

Mekanisme dan pendorong.

Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.

Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.

09Metode dan data

Cara hal ini dikaji, dan di mana batas metodenya.

Metode atau dataApa yang ditampilkannyaBatasan
Use-case risk assessmentKonsekuensi kegagalan menurut aplikasiPenggunaan informal mungkin tidak tercatat
Evaluasi terhadap set ujiAccuracy and failure rates on known casesCannot cover all real inputs
Red-teaming dan pengujian adversarialVulnerability to manipulationFinds some weaknesses, not all
Pemantauan dan pencatatan keluaranErrors and incidents in useMendeteksi kesalahan halus itu sulit
10Metode

Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.

  1. Kecerdasan buatan dan pembelajaran mesinModel kredit gradient-boosted · Model bahasa dalam operasi · Deteksi anomaliDiterapkan di sini
  2. Evaluasi AI dan rekayasa penjaminanValidasi model pembelajaran mesin · Red-teaming AI generatif · Penilaian keadilanDiterapkan di sini
  3. Kuantifikasi ketidakpastian dan validasi modelInterval prediksi untuk model kerugian · Ansambel model · Modal atau penyangga risiko modelDiterapkan di sini
  4. Probabilitas dan statistikaPengujian kalibrasi · Statistik pergeseran · Perbandingan hasil antarkelompokDiterapkan di sini
11Pertanyaan

Tanya jawab.

Apakah model bahasa besar termasuk model dalam aturan risiko model?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
Apa itu prompt injection?
An attack in which instructions hidden in inputs, such as a document or web page, cause a language model to ignore its intended instructions or take unintended actions.
Apa itu grounding?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Mengapa model bahasa menghasilkan informasi yang salah?
Because they generate statistically likely text rather than retrieving verified facts. Without grounding and checks, they can produce plausible but incorrect output.
Should generative AI make credit or claims decisions?
That is for institutions and regulators to decide. Where the consequences for people are significant, strong human oversight and testing are widely expected.
Does the platform evaluate specific AI products?
No. GRA does not evaluate, rate or endorse products or vendors.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Risiko AI dan Model Keuangan

Ajukan pertanyaan eksposur atau modal kepada Aliansi.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.