Skip to content

GRA · Risiko AI dan Model Keuangan

Keuangan spasialTempat modal bertemu bahaya, keterpaparan, dan transisi

Kontrol dengan manusia dalam lingkaran

Pengawasan manusia dimaksudkan untuk menangkap kesalahan model, menangani pengecualian, dan menjaga akuntabilitas tetap pada manusia. Dalam praktik, peninjau dapat menyerahkan keputusan kepada model, kekurangan waktu atau informasi, atau disingkirkan seiring meningkatnya otomatisasi. Halaman ini menguraikan cara kontrol human-in-the-loop bekerja dan gagal dalam jasa keuangan, bagaimana efektivitasnya diukur, dan siapa yang memutuskan di mana pertimbangan manusia harus tetap ada.

01Daftar

Human in the loop controls on the record.

02Pertanyaannya

Human in the loop controls: how the risk develops.

Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mekanisme

Bias otomatisasi

Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.

Mekanisme

Peninjau kekurangan konteks

Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.

Mekanisme

Accountability must stay with people

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

Mekanisme

Penimpaan mengajari sistem

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03Eksposur, kerugian, dan modal

Arti kendali manusia dalam lingkaran bagi keterpaparan, kerugian, dan modal.

Tampilan eksposur, kerugian, skenario, dan modal yang akan diminta oleh pejabat risiko, otoritas pengawas, atau kementerian keuangan, beserta kerangka pelaporan yang mereka gunakan. Strukturnya mengikuti praktik pengawasan dan aktuaria. Nilai bersifat ilustratif: tidak pernah merupakan harga, peringkat, atau saran.

Saluran transmisi

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Skenario iklim NGFS · Network for Greening the Financial SystemIFRS S2 Pengungkapan terkait Iklim · ISSBRekomendasi TCFD · Financial Stability Board TCFDPrinsip-prinsip pengelolaan efektif risiko keuangan terkait iklim · Basel Committee on Banking Supervision
04Indikator

Apa yang diukur, dan seberapa baik.

Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.

IndikatorUnitKadensiJenis sumberLabel
Tingkat penimpaan keputusan (override)proporsi rekomendasi model yang dikesampingkansetiap bulanCatatan keputusanTERAMATI
Hasil dari pengesampingan (override)performance of overridden against non-overridden decisionssetiap kuartalDecision and outcome recordsESTIMASI
Waktu tinjauan per kasusmenitsetiap bulanData alur kerjaTERAMATI
Decisions fully automatedshare of decisionssetiap kuartalProcess recordsDINYATAKAN
Pemilik yang bertanggung jawab dan ditunjuk secara nama untuk setiap penggunaan modelpangsa penggunaantahunanCatatan tata kelolaDINYATAKAN
Banding nasabah atas keputusan otomatisjumlah dan persentase yang dikabulkansetiap kuartalData pengaduanDILAPORKAN
05Sumber

Asal bukti.

Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.

SumberApa yang diberikannyaKelas lisensi
Persyaratan pengawasan manusia EU AI Act untuk SistemLegal expectations for oversight designGratis, ketentuan penggunaan ulang UE
GDPR provisions on automated individual decision-makingRights concerning solely automated decisionsGratis, ketentuan penggunaan ulang UE
Dokumen Senior Managers and Certification Regime InggrisIndividual accountability in UK financial firmsIstilah bebas, FCA, dan PRA
Penelitian tentang bias otomatisasi dalam dukungan keputusanBukti tentang ketergantungan manusia pada saran otomatisGratis dibaca, ketentuan sesuai penerbit
Makalah Penerapan IAIS tentang pengawasan AIAccountability expectations for insurersGratis, ketentuan IAIS
06Keputusan

Siapa yang memutuskan, dan apa yang dilayani bukti.

Risiko AI dan Model menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturan mereka sendiri, dan tidak pernah oleh platform.

Siapa yang memutuskanPertanyaannyaBukti yang dilayani halaman ini
Boards and senior managersKeputusan mana yang harus tetap dipegang oleh penilaian manusia dan siapa yang akuntabelMenggunakan risiko, kewajiban hukum, dan bukti penggantian keputusan
Pemimpin operasionalHow reviewers are resourced and informedWorkflow, time and override data
RegulatorWhether oversight arrangements meet legal requirementsDesain proses dan bukti hasil
Fungsi risiko modelCara data penggantian (override) mengalir ke tinjauan modelOverride and outcome analysis

Keluaran yang dihasilkan topik ini

  • Guide to designing meaningful human review
  • Method note on analysing overrides and their outcomes
  • Brief on accountability when decisions are automated
  • Questions for boards on where judgement must remain human
07Pertanyaan inti

Apa yang ditanyakan pakar.

Pertanyaan-pertanyaan ini menanyakan apakah pengawasan manusia benar-benar berjalan atau hanya nominal.

  • At which points in the process does a person review, and with what authority?
  • Apakah para peninjau memiliki informasi dan waktu untuk tidak sependapat dengan model?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Dapatkah proses dihentikan dengan cepat jika model berperilaku tidak terduga?
08Mekanisme

Mekanisme dan pendorong.

Bias otomatisasi adalah kecenderungan menerima rekomendasi otomatis tanpa pengkajian yang memadai, terutama di bawah tekanan waktu atau ketika sistem biasanya benar. Hal ini dapat menjadikan tinjauan oleh manusia sekadar formalitas. Sebaliknya, penggantian keputusan (override) yang tidak konsisten dapat menimbulkan bias. Pengawasan yang efektif memerlukan hak keputusan yang jelas, informasi yang bermakna, pelatihan, beban kerja yang memungkinkan pertimbangan dan analisis, serta analisis pola override.

Pengawasan harus dirancang sesuai dengan risikonya: pemrosesan yang sepenuhnya otomatis mungkin dapat diterima untuk keputusan berdampak rendah, sedangkan keputusan yang berdampak signifikan bagi orang, atau yang melibatkan eksposur keuangan besar, memerlukan keterlibatan manusia yang lebih kuat. Sejumlah kerangka hukum memberikan hak kepada individu terkait keputusan yang diambil semata-mata secara otomatis.

09Metode dan data

Cara hal ini dikaji, dan di mana batas metodenya.

Metode atau dataApa yang ditampilkannyaBatasan
Process and decision-rights mappingWhere humans sit and what they can doRancangan formal dapat berbeda dari praktik
Analisis pengesampinganBagaimana dan mengapa manusia tidak sepakat dengan modelRequires good logging
Riset faktor manusiaAutomation bias and workload effectsLaboratory findings may not transfer
Tinjauan insidenKegagalan pengawasanIncidents are under-reported
10Metode

Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.

  1. Evaluasi AI dan rekayasa penjaminanValidasi model pembelajaran mesin · Red-teaming AI generatif · Penilaian keadilanDiterapkan di sini
  2. Kecerdasan buatan dan pembelajaran mesinModel kredit gradient-boosted · Model bahasa dalam operasi · Deteksi anomaliDiterapkan di sini
  3. Probabilitas dan statistikaPengujian kalibrasi · Statistik pergeseran · Perbandingan hasil antarkelompokDiterapkan di sini
12Pertanyaan

Tanya jawab.

Apa itu bias otomatisasi?
The tendency of people to over-rely on automated recommendations, accepting them without sufficient scrutiny even when they are wrong.
Apakah peninjau manusia membuat suatu keputusan menjadi sah secara hukum?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
Why analyse overrides?
Karena frekuensi dan hasilnya menunjukkan di mana model lemah dan apakah penilaian manusia meningkatkan keputusan atau justru menambah inkonsistensi.
Is human review always necessary?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Risiko AI dan Model Keuangan

Ajukan pertanyaan eksposur atau modal kepada Aliansi.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.