GRA · Risiko AI dan Model Keuangan
Keuangan spasialTempat modal bertemu bahaya, keterpaparan, dan transisi
Kontrol dengan manusia dalam lingkaran
Pengawasan manusia dimaksudkan untuk menangkap kesalahan model, menangani pengecualian, dan menjaga akuntabilitas tetap pada manusia. Dalam praktik, peninjau dapat menyerahkan keputusan kepada model, kekurangan waktu atau informasi, atau disingkirkan seiring meningkatnya otomatisasi. Halaman ini menguraikan cara kontrol human-in-the-loop bekerja dan gagal dalam jasa keuangan, bagaimana efektivitasnya diukur, dan siapa yang memutuskan di mana pertimbangan manusia harus tetap ada.
Human in the loop controls on the record.
Human in the loop controls: how the risk develops.
Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Bias otomatisasi
Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.
Peninjau kekurangan konteks
Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.
Accountability must stay with people
Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.
Penimpaan mengajari sistem
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
Arti kendali manusia dalam lingkaran bagi keterpaparan, kerugian, dan modal.
Tampilan eksposur, kerugian, skenario, dan modal yang akan diminta oleh pejabat risiko, otoritas pengawas, atau kementerian keuangan, beserta kerangka pelaporan yang mereka gunakan. Strukturnya mengikuti praktik pengawasan dan aktuaria. Nilai bersifat ilustratif: tidak pernah merupakan harga, peringkat, atau saran.
Saluran transmisi
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Apa yang diukur, dan seberapa baik.
Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.
| Indikator | Unit | Kadensi | Jenis sumber | Label |
|---|---|---|---|---|
| Tingkat penimpaan keputusan (override) | proporsi rekomendasi model yang dikesampingkan | setiap bulan | Catatan keputusan | TERAMATI |
| Hasil dari pengesampingan (override) | performance of overridden against non-overridden decisions | setiap kuartal | Decision and outcome records | ESTIMASI |
| Waktu tinjauan per kasus | menit | setiap bulan | Data alur kerja | TERAMATI |
| Decisions fully automated | share of decisions | setiap kuartal | Process records | DINYATAKAN |
| Pemilik yang bertanggung jawab dan ditunjuk secara nama untuk setiap penggunaan model | pangsa penggunaan | tahunan | Catatan tata kelola | DINYATAKAN |
| Banding nasabah atas keputusan otomatis | jumlah dan persentase yang dikabulkan | setiap kuartal | Data pengaduan | DILAPORKAN |
Asal bukti.
Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.
| Sumber | Apa yang diberikannya | Kelas lisensi |
|---|---|---|
| Persyaratan pengawasan manusia EU AI Act untuk Sistem | Legal expectations for oversight design | Gratis, ketentuan penggunaan ulang UE |
| GDPR provisions on automated individual decision-making | Rights concerning solely automated decisions | Gratis, ketentuan penggunaan ulang UE |
| Dokumen Senior Managers and Certification Regime Inggris | Individual accountability in UK financial firms | Istilah bebas, FCA, dan PRA |
| Penelitian tentang bias otomatisasi dalam dukungan keputusan | Bukti tentang ketergantungan manusia pada saran otomatis | Gratis dibaca, ketentuan sesuai penerbit |
| Makalah Penerapan IAIS tentang pengawasan AI | Accountability expectations for insurers | Gratis, ketentuan IAIS |
Siapa yang memutuskan, dan apa yang dilayani bukti.
Risiko AI dan Model menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.
| Siapa yang memutuskan | Pertanyaannya | Bukti yang dilayani halaman ini |
|---|---|---|
| Boards and senior managers | Keputusan mana yang harus tetap dipegang oleh penilaian manusia dan siapa yang akuntabel | Menggunakan risiko, kewajiban hukum, dan bukti penggantian keputusan |
| Pemimpin operasional | How reviewers are resourced and informed | Workflow, time and override data |
| Regulator | Whether oversight arrangements meet legal requirements | Desain proses dan bukti hasil |
| Fungsi risiko model | Cara data penggantian (override) mengalir ke tinjauan model | Override and outcome analysis |
Keluaran yang dihasilkan topik ini
- Guide to designing meaningful human review
- Method note on analysing overrides and their outcomes
- Brief on accountability when decisions are automated
- Questions for boards on where judgement must remain human
Apa yang ditanyakan pakar.
Pertanyaan-pertanyaan ini menanyakan apakah pengawasan manusia benar-benar berjalan atau hanya nominal.
- At which points in the process does a person review, and with what authority?
- Apakah para peninjau memiliki informasi dan waktu untuk tidak sependapat dengan model?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- Dapatkah proses dihentikan dengan cepat jika model berperilaku tidak terduga?
Mekanisme dan pendorong.
Bias otomatisasi adalah kecenderungan menerima rekomendasi otomatis tanpa pengkajian yang memadai, terutama di bawah tekanan waktu atau ketika sistem biasanya benar. Hal ini dapat menjadikan tinjauan oleh manusia sekadar formalitas. Sebaliknya, penggantian keputusan (override) yang tidak konsisten dapat menimbulkan bias. Pengawasan yang efektif memerlukan hak keputusan yang jelas, informasi yang bermakna, pelatihan, beban kerja yang memungkinkan pertimbangan dan analisis, serta analisis pola override.
Pengawasan harus dirancang sesuai dengan risikonya: pemrosesan yang sepenuhnya otomatis mungkin dapat diterima untuk keputusan berdampak rendah, sedangkan keputusan yang berdampak signifikan bagi orang, atau yang melibatkan eksposur keuangan besar, memerlukan keterlibatan manusia yang lebih kuat. Sejumlah kerangka hukum memberikan hak kepada individu terkait keputusan yang diambil semata-mata secara otomatis.
Cara hal ini dikaji, dan di mana batas metodenya.
| Metode atau data | Apa yang ditampilkannya | Batasan |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | Rancangan formal dapat berbeda dari praktik |
| Analisis pengesampingan | Bagaimana dan mengapa manusia tidak sepakat dengan model | Requires good logging |
| Riset faktor manusia | Automation bias and workload effects | Laboratory findings may not transfer |
| Tinjauan insiden | Kegagalan pengawasan | Incidents are under-reported |
Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.
- 01Evaluasi AI dan rekayasa penjaminanValidasi model pembelajaran mesin · Red-teaming AI generatif · Penilaian keadilanDiterapkan di sini
- 02Kecerdasan buatan dan pembelajaran mesinModel kredit gradient-boosted · Model bahasa dalam operasi · Deteksi anomaliDiterapkan di sini
- 03Probabilitas dan statistikaPengujian kalibrasi · Statistik pergeseran · Perbandingan hasil antarkelompokDiterapkan di sini
Ke mana halaman ini mengarah di seluruh Konsorsium.
Tanya jawab.
Apa itu bias otomatisasi?
Apakah peninjau manusia membuat suatu keputusan menjadi sah secara hukum?
Why analyse overrides?
Is human review always necessary?
Does the platform set oversight standards?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GRAKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Ajukan pertanyaan eksposur atau modal kepada Aliansi.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.