Skip to content

GRA · Yapay Zekâ ve Finansal Model Riski

Mekânsal finansSermayenin tehlike, maruziyet ve geçişle buluştuğu yer

İnsanın döngüde olduğu kontroller

Human oversight is meant to catch model errors, handle exceptions and keep accountability with people. In practice reviewers can defer to models, lack time or information, or be removed as automation grows. This page sets out how human-in-the-loop controls work and fail in financial services, how their effectiveness is measured, and who decides where human judgement must stay.

01Sicil

Human in the loop controls on the record.

02Soru

Human in the loop controls: how the risk develops.

Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mekanizma

Otomasyon yanlılığı

Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.

Mekanizma

Reviewers lack context

Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.

Mekanizma

Accountability must stay with people

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

Mekanizma

Geçersiz kılmalar sistemi eğitir

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03Maruziyet, kayıp ve sermaye

What human in the loop controls means for exposure, loss and capital.

Bir risk yöneticisinin, denetim kurumunun veya maliye bakanlığının talep edeceği maruziyet, kayıp, senaryo ve sermaye görünümleri ile raporlama yaptıkları çerçeveler. Yapılar denetim ve aktüerya uygulamalarını izler. Değerler açıklayıcıdır: asla fiyat, derecelendirme veya tavsiye değildir.

Aktarım kanalları

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS iklim senaryoları · Network for Greening the Financial SystemIFRS S2 İklimle İlgili Açıklamalar · ISSBTCFD tavsiyeleri · Finansal İstikrar Kurulu TCFDİklimle ilgili finansal risklerin etkin yönetimine ilişkin ilkeler · Basel Bankacılık Denetim Komitesi
04Göstergeler

Neyin ve ne kadar iyi ölçüldüğü.

Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.

GöstergeBirimSıklıkKaynak türüEtiket
Geçersiz kılma oranıshare of model recommendations overriddenaylıkKarar kayıtlarıGÖZLENEN
Geçersiz kılmaların sonucuperformance of overridden against non-overridden decisionsüç ayda birKarar ve sonuç kayıtlarıTAHMİNİ
Vaka başına inceleme süresidakikaaylıkWorkflow dataGÖZLENEN
Decisions fully automatedshare of decisionsüç ayda birProcess recordsBEYAN EDİLDİ
Named accountable owner per model usekullanımların payıyıllıkYönetişim kayıtlarıBEYAN EDİLDİ
Otomatik kararlara yönelik müşteri itirazlarıkabul edilenlerin sayısı ve payıüç ayda birŞikâyet verileriBİLDİRİLMİŞ
05Kaynaklar

Kanıtın nereden geldiği.

Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.

KaynakSağladıklarıLisans sınıfı
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight designÜcretsiz, AB yeniden kullanım koşulları
GDPR provisions on automated individual decision-makingRights concerning solely automated decisionsÜcretsiz, AB yeniden kullanım koşulları
UK Senior Managers and Certification Regime documentsIndividual accountability in UK financial firmsFree, FCA and PRA terms
Karar desteğinde otomasyon yanlılığı üzerine araştırmalarEvidence on human reliance on automated adviceOkumak ücretsiz, koşullar yayıncıya göre
IAIS Application Paper on the supervision of AIAccountability expectations for insurersÜcretsiz, IAIS koşulları
06Kararlar

Kim karar verir ve kanıt neye hizmet eder.

Yapay Zekâ ve Finansal Model Riski kanıt hazırlar. Aşağıdaki kararları, kendi kuralları çerçevesinde adı geçen yetkili makamlar alır; platform asla almaz.

Kim karar verirSoruBu sayfanın hizmet ettiği kanıt
Boards and senior managersWhich decisions must keep human judgement and who is accountableUse risk, legal duties and override evidence
Operasyon liderleriHow reviewers are resourced and informedWorkflow, time and override data
DüzenleyicilerWhether oversight arrangements meet legal requirementsSüreç tasarımı ve sonuç kanıtı
Model riski işlevleriHow override data feed model reviewOverride and outcome analysis

Bu konunun ürettiği çıktılar

  • Guide to designing meaningful human review
  • Method note on analysing overrides and their outcomes
  • Brief on accountability when decisions are automated
  • Questions for boards on where judgement must remain human
07Temel sorular

Uzmanların sordukları.

Sorular, insan gözetimini gerçek mi yoksa göstermelik mi olduğunu sorar.

  • At which points in the process does a person review, and with what authority?
  • Do reviewers have the information and time to disagree with the model?
  • İnceleyiciler modeli ne sıklıkla geçersiz kılıyor ve geçersiz kılmalar analiz ediliyor mu?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Can the process be stopped quickly if the model behaves unexpectedly?
08Mekanizmalar

Mekanizmalar ve etkenler.

Otomasyon yanlılığı , özellikle zaman baskısı altında veya sistem genellikle doğru olduğunda, otomatik önerilerin yeterli incelemeden geçirilmeden kabul edilmesi eğilimidir. İnsan incelemesini bir formaliteye dönüştürebilir. Buna karşılık, tutarsız geçersiz kılmalar yanlılık yaratabilir. Etkili gözetim; açık karar yetkileri, anlamlı bilgi, eğitim, yargıya ve analize olanak tanıyan iş yükü ve geçersiz kılma örüntülerinin analizini gerektirir.

Gözetim riske göre tasarlanmalıdır: sonuçları düşük kararlar için tam otomatik işleme kabul edilebilir; insanlar üzerinde önemli etkileri olan kararlar ya da büyük mali maruziyetler ise daha güçlü insan katılımı gerektirir. Bazı hukuki çerçeveler, yalnızca otomatik kararlara ilişkin olarak bireylere haklar tanır.

09Yöntemler ve veriler

Nasıl incelendiği ve yöntemlerin nerede durduğu.

Yöntem veya veriGösterdiğiSınırlar
Process and decision-rights mappingWhere humans sit and what they can doFormal design may differ from practice
Override analysisHow and why humans disagree with modelsRequires good logging
İnsan faktörleri araştırmasıAutomation bias and workload effectsLaboratory findings may not transfer
Incident reviewFailures of oversightIncidents are under-reported
10Yöntemler

Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.

12Sorular

Sorular ve yanıtlar.

Otomasyon yanlılığı nedir?
The tendency of people to over-rely on automated recommendations, accepting them without sufficient scrutiny even when they are wrong.
Does a human reviewer make a decision lawful?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
Geçersiz kılmalar neden analiz edilir?
Çünkü sıklıkları ve sonuçları, modellerin nerede zayıf olduğunu ve insan muhakemesinin kararları iyileştirip iyileştirmediğini ya da tutarsızlık katıp katmadığını gösterir.
Is human review always necessary?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
RaporlarKatkıda bulunun

Bu sayfadan kanıt katkısında bulunun.

Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Yapay Zekâ ve Finansal Model Riski

Bir maruziyet veya sermaye sorusunu İttifak'a getirin.

Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.