Skip to content

GRA · Risiko AI dan Model Keuangan

Keuangan spasialTempat modal bertemu bahaya, keterpaparan, dan transisi

Pemantauan model dan pergeseran

Model yang divalidasi saat peluncuran dapat gagal di kemudian hari seiring perubahan pelanggan, produk, pasar, dan alur data. Pemantauan melacak kinerja, distribusi input, dan hasil untuk mendeteksi pergeseran (drift) dan memicu tinjauan. Model pembelajaran mesin yang dilatih ulang secara berkala menambah risikonya sendiri. Halaman ini menguraikan bagaimana pergeseran muncul, bagaimana pemantauan mendeteksinya, ukuran yang digunakan, dan siapa yang memutuskan kapan model harus diubah atau dihentikan.

01Daftar

Model monitoring and drift on the record.

02Pertanyaannya

Model monitoring and drift: how the risk develops.

Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mekanisme

Pergeseran data

The distribution of inputs shifts as new customer segments arrive, products change or upstream systems alter fields. The model meets data it was not trained on.

Mekanisme

Concept drift

Hubungan antara input dan hasil berubah, misalnya ketika guncangan ekonomi mengubah siapa yang gagal bayar. Akurasi menurun meskipun input tampak stabil.

Mekanisme

Hasil baru muncul belakangan

Gagal bayar dan klaim muncul berbulan-bulan atau bertahun-tahun setelah keputusan diambil, sehingga kinerja sebenarnya baru diketahui belakangan. Proksi dan indikator dini mengisi kekosongan itu dengan ketidakpastian.

Mekanisme

Retraining adds risk

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03Eksposur, kerugian, dan modal

Arti pemantauan model dan drift bagi keterpaparan, kerugian, dan modal.

Tampilan eksposur, kerugian, skenario, dan modal yang akan diminta oleh pejabat risiko, otoritas pengawas, atau kementerian keuangan, beserta kerangka pelaporan yang mereka gunakan. Strukturnya mengikuti praktik pengawasan dan aktuaria. Nilai bersifat ilustratif: tidak pernah merupakan harga, peringkat, atau saran.

Saluran transmisi

Bagaimana guncangan pada pemantauan model dan penyimpangan (drift) menjalar ke risiko kredit, pasar, underwriting, likuiditas, dan operasional, lalu memberi umpan balik.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Skenario iklim NGFS · Network for Greening the Financial SystemIFRS S2 Pengungkapan terkait Iklim · ISSBRekomendasi TCFD · Financial Stability Board TCFDPrinsip-prinsip pengelolaan efektif risiko keuangan terkait iklim · Basel Committee on Banking Supervision
04Indikator

Apa yang diukur, dan seberapa baik.

Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.

IndikatorUnitKadensiJenis sumberLabel
Population stability index by inputtanpa dimensisetiap bulanPemantauanESTIMASI
Kinerja terhadap acuan validasichange in discrimination or calibrationbulanan atau triwulananPemantauanESTIMASI
Pemantauan peringatan yang melanggar ambang batasjumlahsetiap bulanMonitoring recordsTERAMATI
Models retrained in periodjumlahsetiap kuartalCatatan modelDINYATAKAN
Insiden alur data yang memengaruhi modeljumlahsetiap kuartalCatatan insidenDILAPORKAN
Time from alert to remediationhariper alertCatatan tata kelolaTERAMATI
05Sumber

Asal bukti.

Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.

SumberApa yang diberikannyaKelas lisensi
Prinsip PRA SS1/23 tentang pemantauan modelEkspektasi untuk pemantauan kinerja berkelanjutanGratis, ketentuan Bank of England
SR 11-7 tentang pemantauan berkelanjutan dan analisis hasilEkspektasi Amerika SerikatDomain publik
EBA guidelines on loan origination and monitoringMonitoring of automated credit modelsGratis, ketentuan penggunaan ulang UE
Penelitian akademik tentang pergeseran set dataMetode untuk mendeteksi dan menyesuaikan diri terhadap pergeseran (drift)Gratis dibaca, ketentuan sesuai penerbit
Bank Pillar 3 model back-testing disclosuresHasil uji balik untuk model modalCatatan publik, ketentuan per bank
06Keputusan

Siapa yang memutuskan, dan apa yang dilayani bukti.

Risiko AI dan Model menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.

Siapa yang memutuskanPertanyaannyaBukti yang dilayani halaman ini
Pemilik modelKapan harus mengkalibrasi ulang, mengembangkan ulang, atau menghentikan modelMemantau hasil terhadap ambang batas
Fungsi risiko modelStandar pemantauan apa yang berlaku menurut tingkatPolicy and monitoring evidence
PengawasWhether monitoring is adequate for capital and conduct modelsBack-testing and review findings
Pemilik dataBagaimana perubahan hulu dikendalikanCatatan insiden pipa

Keluaran yang dihasilkan topik ini

  • Guide to data drift and concept drift
  • Catatan metode tentang ambang pemantauan dan peringatan
  • Brief on controls for frequently retrained models
  • Pertanyaan bagi pemilik model tentang hasil yang datang terlambat
07Pertanyaan inti

Apa yang ditanyakan pakar.

Monitoring questions ask how soon a problem will be seen.

  • Which performance measures are monitored, and how often?
  • Seberapa cepat hasil, seperti gagal bayar atau klaim, teramati, dan apa yang mengisi kesenjangan itu sementara waktu?
  • Apakah distribusi data masukan telah bergeser, dan apakah hal itu penting?
  • What thresholds trigger review, recalibration or withdrawal, and who set them?
  • How are continuously retrained models governed?
08Mekanisme

Mekanisme dan pendorong.

Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09Metode dan data

Cara hal ini dikaji, dan di mana batas metodenya.

Metode atau dataApa yang ditampilkannyaBatasan
Performance tracking against outcomesAccuracy and calibration over timeOutcomes arrive with delay
Distribution shift statisticsPerubahan pada data masukanShift does not always mean performance loss
Benchmark and challenger modelsKinerja relatifChallengers share some data limitations
Threshold and alerting frameworksWhen to escalateThresholds involve judgement
10Metode

Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.

11Pertanyaan

Tanya jawab.

What is the difference between data drift and concept drift?
Data drift is a change in the distribution of inputs; concept drift is a change in how inputs relate to outcomes. Either can reduce model accuracy.
What is a population stability index?
Ukuran yang membandingkan distribusi suatu variabel atau skor antara dua periode, digunakan untuk mendeteksi pergeseran pada populasi yang dinilai oleh sebuah model.
Haruskah model dilatih ulang secara otomatis?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
Why is concept drift hard to detect?
Karena hal ini menyangkut perubahan hubungan antara masukan dan hasil, dan hasil seperti gagal bayar mungkin baru diketahui lama setelah keputusan dibuat.
Apakah pelatihan ulang otomatis merupakan solusi?
It can help but needs governance: retrained models can absorb errors, bias or temporary conditions, and must still be tested and approved.
Does the platform monitor firms’ models?
Tidak. GRA tidak memantau, memvalidasi, atau menyetujui model apa pun.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Risiko AI dan Model Keuangan

Ajukan pertanyaan eksposur atau modal kepada Aliansi.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.