GRA · Risiko AI dan Model Keuangan
Keuangan spasialTempat modal bertemu bahaya, keterpaparan, dan transisi
Pemantauan model dan pergeseran
Model yang divalidasi saat peluncuran dapat gagal di kemudian hari seiring perubahan pelanggan, produk, pasar, dan alur data. Pemantauan melacak kinerja, distribusi input, dan hasil untuk mendeteksi pergeseran (drift) dan memicu tinjauan. Model pembelajaran mesin yang dilatih ulang secara berkala menambah risikonya sendiri. Halaman ini menguraikan bagaimana pergeseran muncul, bagaimana pemantauan mendeteksinya, ukuran yang digunakan, dan siapa yang memutuskan kapan model harus diubah atau dihentikan.
Model monitoring and drift on the record.
Model monitoring and drift: how the risk develops.
Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Pergeseran data
The distribution of inputs shifts as new customer segments arrive, products change or upstream systems alter fields. The model meets data it was not trained on.
Concept drift
Hubungan antara input dan hasil berubah, misalnya ketika guncangan ekonomi mengubah siapa yang gagal bayar. Akurasi menurun meskipun input tampak stabil.
Hasil baru muncul belakangan
Gagal bayar dan klaim muncul berbulan-bulan atau bertahun-tahun setelah keputusan diambil, sehingga kinerja sebenarnya baru diketahui belakangan. Proksi dan indikator dini mengisi kekosongan itu dengan ketidakpastian.
Retraining adds risk
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
Arti pemantauan model dan drift bagi keterpaparan, kerugian, dan modal.
Tampilan eksposur, kerugian, skenario, dan modal yang akan diminta oleh pejabat risiko, otoritas pengawas, atau kementerian keuangan, beserta kerangka pelaporan yang mereka gunakan. Strukturnya mengikuti praktik pengawasan dan aktuaria. Nilai bersifat ilustratif: tidak pernah merupakan harga, peringkat, atau saran.
Saluran transmisi
Bagaimana guncangan pada pemantauan model dan penyimpangan (drift) menjalar ke risiko kredit, pasar, underwriting, likuiditas, dan operasional, lalu memberi umpan balik.
Apa yang diukur, dan seberapa baik.
Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.
| Indikator | Unit | Kadensi | Jenis sumber | Label |
|---|---|---|---|---|
| Population stability index by input | tanpa dimensi | setiap bulan | Pemantauan | ESTIMASI |
| Kinerja terhadap acuan validasi | change in discrimination or calibration | bulanan atau triwulanan | Pemantauan | ESTIMASI |
| Pemantauan peringatan yang melanggar ambang batas | jumlah | setiap bulan | Monitoring records | TERAMATI |
| Models retrained in period | jumlah | setiap kuartal | Catatan model | DINYATAKAN |
| Insiden alur data yang memengaruhi model | jumlah | setiap kuartal | Catatan insiden | DILAPORKAN |
| Time from alert to remediation | hari | per alert | Catatan tata kelola | TERAMATI |
Asal bukti.
Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.
| Sumber | Apa yang diberikannya | Kelas lisensi |
|---|---|---|
| Prinsip PRA SS1/23 tentang pemantauan model | Ekspektasi untuk pemantauan kinerja berkelanjutan | Gratis, ketentuan Bank of England |
| SR 11-7 tentang pemantauan berkelanjutan dan analisis hasil | Ekspektasi Amerika Serikat | Domain publik |
| EBA guidelines on loan origination and monitoring | Monitoring of automated credit models | Gratis, ketentuan penggunaan ulang UE |
| Penelitian akademik tentang pergeseran set data | Metode untuk mendeteksi dan menyesuaikan diri terhadap pergeseran (drift) | Gratis dibaca, ketentuan sesuai penerbit |
| Bank Pillar 3 model back-testing disclosures | Hasil uji balik untuk model modal | Catatan publik, ketentuan per bank |
Siapa yang memutuskan, dan apa yang dilayani bukti.
Risiko AI dan Model menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.
| Siapa yang memutuskan | Pertanyaannya | Bukti yang dilayani halaman ini |
|---|---|---|
| Pemilik model | Kapan harus mengkalibrasi ulang, mengembangkan ulang, atau menghentikan model | Memantau hasil terhadap ambang batas |
| Fungsi risiko model | Standar pemantauan apa yang berlaku menurut tingkat | Policy and monitoring evidence |
| Pengawas | Whether monitoring is adequate for capital and conduct models | Back-testing and review findings |
| Pemilik data | Bagaimana perubahan hulu dikendalikan | Catatan insiden pipa |
Keluaran yang dihasilkan topik ini
- Guide to data drift and concept drift
- Catatan metode tentang ambang pemantauan dan peringatan
- Brief on controls for frequently retrained models
- Pertanyaan bagi pemilik model tentang hasil yang datang terlambat
Apa yang ditanyakan pakar.
Monitoring questions ask how soon a problem will be seen.
- Which performance measures are monitored, and how often?
- Seberapa cepat hasil, seperti gagal bayar atau klaim, teramati, dan apa yang mengisi kesenjangan itu sementara waktu?
- Apakah distribusi data masukan telah bergeser, dan apakah hal itu penting?
- What thresholds trigger review, recalibration or withdrawal, and who set them?
- How are continuously retrained models governed?
Mekanisme dan pendorong.
Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Cara hal ini dikaji, dan di mana batas metodenya.
| Metode atau data | Apa yang ditampilkannya | Batasan |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | Outcomes arrive with delay |
| Distribution shift statistics | Perubahan pada data masukan | Shift does not always mean performance loss |
| Benchmark and challenger models | Kinerja relatif | Challengers share some data limitations |
| Threshold and alerting frameworks | When to escalate | Thresholds involve judgement |
Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.
- 01Probabilitas dan statistikaPengujian kalibrasi · Statistik pergeseran · Perbandingan hasil antarkelompokDiterapkan di sini
- 02Kuantifikasi ketidakpastian dan validasi modelInterval prediksi untuk model kerugian · Ansambel model · Modal atau penyangga risiko modelDiterapkan di sini
- 03Kecerdasan buatan dan pembelajaran mesinModel kredit gradient-boosted · Model bahasa dalam operasi · Deteksi anomaliDiterapkan di sini
- 04Evaluasi AI dan rekayasa penjaminanValidasi model pembelajaran mesin · Red-teaming AI generatif · Penilaian keadilanDiterapkan di sini
Tanya jawab.
What is the difference between data drift and concept drift?
What is a population stability index?
Haruskah model dilatih ulang secara otomatis?
Why is concept drift hard to detect?
Apakah pelatihan ulang otomatis merupakan solusi?
Does the platform monitor firms’ models?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GRAKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Ajukan pertanyaan eksposur atau modal kepada Aliansi.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.