GRA · Yapay Zekâ ve Finansal Model Riski
Mekânsal finansSermayenin tehlike, maruziyet ve geçişle buluştuğu yer
Model izleme ve kayma
Kullanıma alındığında doğrulanmış bir model, müşteriler, ürünler, piyasalar ve veri akışları değiştikçe sonradan başarısız olabilir. İzleme, sapmayı tespit etmek ve incelemeyi başlatmak için performansı, girdi dağılımlarını ve sonuçları takip eder. Sık yeniden eğitilen makine öğrenmesi modelleri kendi risklerini de beraberinde getirir. Bu sayfa, sapmanın nasıl ortaya çıktığını, izlemenin onu nasıl tespit ettiğini, kullanılan ölçütleri ve bir modelin ne zaman değiştirilmesi veya durdurulması gerektiğine kimin karar verdiğini ortaya koyar.
Model monitoring and drift on the record.
Model monitoring and drift: how the risk develops.
Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Data drift
The distribution of inputs shifts as new customer segments arrive, products change or upstream systems alter fields. The model meets data it was not trained on.
Concept drift
Girdiler ile sonuçlar arasındaki ilişki değişir; örneğin bir ekonomik şok, kimlerin temerrüde düştüğünü değiştirdiğinde. Girdiler istikrarlı görünse bile doğruluk düşer.
Outcomes arrive late
Temerrütler ve hasar talepleri kararlardan aylar ya da yıllar sonra ortaya çıkar; bu nedenle gerçek performans geç öğrenilir. Vekil göstergeler ve erken göstergeler bu boşluğu belirsizlikle doldurur.
Retraining adds risk
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
Model izleme ve sapmanın maruziyet, kayıp ve sermaye açısından ne anlama geldiği.
Bir risk yöneticisinin, denetim kurumunun veya maliye bakanlığının talep edeceği maruziyet, kayıp, senaryo ve sermaye görünümleri ile raporlama yaptıkları çerçeveler. Yapılar denetim ve aktüerya uygulamalarını izler. Değerler açıklayıcıdır: asla fiyat, derecelendirme veya tavsiye değildir.
Aktarım kanalları
Model izleme ve model kaymasındaki bir şokun kredi, piyasa, sigortacılık, likidite ve operasyonel riske nasıl ulaştığı ve nasıl geri beslendiği.
Neyin ve ne kadar iyi ölçüldüğü.
Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.
| Gösterge | Birim | Sıklık | Kaynak türü | Etiket |
|---|---|---|---|---|
| Population stability index by input | boyutsuz | aylık | İzleme | TAHMİNİ |
| Doğrulama temel çizgisine göre performans | change in discrimination or calibration | aylık veya üç aylık | İzleme | TAHMİNİ |
| Monitoring alerts breaching thresholds | sayı | aylık | Monitoring records | GÖZLENEN |
| Models retrained in period | sayı | üç ayda bir | Model records | BEYAN EDİLDİ |
| Data pipeline incidents affecting models | sayı | üç ayda bir | Olay kayıtları | BİLDİRİLMİŞ |
| Time from alert to remediation | gün | per alert | Yönetişim kayıtları | GÖZLENEN |
Kanıtın nereden geldiği.
Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.
| Kaynak | Sağladıkları | Lisans sınıfı |
|---|---|---|
| Model izlemeye ilişkin PRA SS1/23 ilkeleri | Expectations for ongoing performance monitoring | Ücretsiz, Bank of England koşulları |
| SR 11-7 on ongoing monitoring and outcomes analysis | United States expectations | Kamu malı |
| EBA guidelines on loan origination and monitoring | Monitoring of automated credit models | Ücretsiz, AB yeniden kullanım koşulları |
| Academic research on dataset shift | Veri kaymasını tespit etme ve ona uyum sağlama yöntemleri | Okumak ücretsiz, koşullar yayıncıya göre |
| Banka Pillar 3 model geriye dönük test açıklamaları | Back-testing results for capital models | Kamu kayıtları, koşullar bankaya göre değişir |
Kim karar verir ve kanıt neye hizmet eder.
Yapay Zekâ ve Finansal Model Riski kanıt hazırlar. Aşağıdaki kararları, kendi kuralları çerçevesinde adı geçen yetkili makamlar alır; platform asla almaz.
| Kim karar verir | Soru | Bu sayfanın hizmet ettiği kanıt |
|---|---|---|
| Model sahipleri | When to recalibrate, redevelop or retire a model | Monitoring results against thresholds |
| Model riski işlevleri | Kademeye göre hangi izleme standartları geçerlidir | Policy and monitoring evidence |
| Denetleyici kurumlar | Whether monitoring is adequate for capital and conduct models | Back-testing and review findings |
| Veri sahipleri | How upstream changes are controlled | Pipeline incident records |
Bu konunun ürettiği çıktılar
- Guide to data drift and concept drift
- Method note on monitoring thresholds and alerts
- Brief on controls for frequently retrained models
- Questions for model owners on late-arriving outcomes
Uzmanların sordukları.
Monitoring questions ask how soon a problem will be seen.
- Which performance measures are monitored, and how often?
- How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
- Has the input data distribution shifted, and does it matter?
- What thresholds trigger review, recalibration or withdrawal, and who set them?
- How are continuously retrained models governed?
Mekanizmalar ve etkenler.
Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Nasıl incelendiği ve yöntemlerin nerede durduğu.
| Yöntem veya veri | Gösterdiği | Sınırlar |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | Outcomes arrive with delay |
| Dağılım kayması istatistikleri | Changes in input data | Shift does not always mean performance loss |
| Benchmark and challenger models | Göreli performans | Challengers share some data limitations |
| Eşik ve uyarı çerçeveleri | Ne zaman üst düzeye taşınmalı | Thresholds involve judgement |
Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.
- 01Olasılık ve istatistikKalibrasyon testi · Sapma istatistikleri · Grup sonuçlarının karşılaştırılmasıBurada uygulanır
- 02Belirsizliğin nicelleştirilmesi ve model doğrulamasıKayıp modelleri için tahmin aralıkları · Model toplulukları · Model riski sermayesi veya tamponlarıBurada uygulanır
- 03Yapay zekâ ve makine öğrenmesiGradyan artırmalı kredi modelleri · Operasyonlarda dil modelleri · Anomali tespitiBurada uygulanır
- 04Yapay zekâ değerlendirme ve güvence mühendisliğiMakine öğrenmesi modellerinin doğrulanması · Üretken yapay zekâya yönelik kırmızı takım testleri · Adalet değerlendirmesiBurada uygulanır
Sorular ve yanıtlar.
What is the difference between data drift and concept drift?
What is a population stability index?
Modeller otomatik olarak yeniden eğitilmeli mi?
Why is concept drift hard to detect?
Otomatik yeniden eğitim bir çözüm müdür?
Does the platform monitor firms’ models?
Bu sayfadan kanıt katkısında bulunun.
Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.
- E-postaGeçit GW-GRABu sayfadan gönderinKanıt, bir düzeltme, bir vaka, bir yöntem, bir inceleme, bir çeviri veya profil girdisi. Bu sayfayla etiketlenmiş olarak gelir; böylece sayfanın sahibi editör onu alır.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Hiçbir zaman kişisel veri, hassas altyapı ayrıntısı veya paylaşma hakkınız olmayan hiçbir şey göndermeyin. Bir katkı kullanılmadan önce incelenir. Katkıyı göndermek yazarlık veya editoryal hak sağlamaz ve sponsorluk hiçbir zaman bir bulgu satın almaz.
Bir maruziyet veya sermaye sorusunu İttifak'a getirin.
Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.
Hukuki belgeler.
Bu sitedeki haritalar, veriler ve şekiller bağlam ve genel bilgi amacıyla gösterilir. Tavsiye, tahmin ya da uyarı değildir; bilgilerin sınırları Sorumluluk Reddi ve Veri Bildirimleri'nde açıklanmıştır.