GRA · AI와 금융 모델 리스크
공간 금융자본이 재해, 노출, 전환과 만나는 곳
모형 모니터링과 드리프트
출시 시점에 검증된 모델도 고객, 상품, 시장, 데이터 파이프라인이 변하면 나중에 실패할 수 있습니다. 모니터링은 성능, 입력 분포, 결과를 추적하여 드리프트를 감지하고 검토를 촉발합니다. 자주 재학습하는 머신러닝 모델에는 고유한 리스크가 추가됩니다. 이 페이지는 드리프트가 발생하는 방식, 모니터링이 이를 감지하는 방법, 사용하는 측정 지표, 그리고 모델을 변경하거나 중단해야 할 때 누가 결정하는지를 설명합니다.
Model monitoring and drift on the record.
Model monitoring and drift: how the risk develops.
시간에 따른 변화와 검토 기준. 아래 자료집은 리스크가 어떻게 전개되는지, 무엇을 측정하는지, 데이터가 어디서 오는지, 어떻게 모델링되는지, 누가 결정하는지를 설명합니다.
Data drift
새로운 고객 세그먼트가 유입되거나 상품이 바뀌거나 상위 시스템 이 필드를 변경하면 입력 데이터의 분포가 달라집니다. 모델은 학습하지 않은 데이터를 접하게 됩니다.
Concept drift
The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.
성과는 늦게 나타납니다
채무불이행과 보험금 청구는 의사결정 후 수개월 또는 수년이 지나 나타나므로 실제 성과는 늦게 알려집니다. 대리 지표와 조기 지표가 그 공백을 불확실성과 함께 메웁니다.
Retraining adds risk
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
What model monitoring and drift means for exposure, loss and capital.
리스크 책임자, 감독 당국이나 재무부가 요구할 익스포저, 손실, 시나리오와 자본 보기와 이들이 보고의 기준으로 삼는 체계. 구조는 감독과 보험계리 실무를 따릅니다. 값은 예시이며 가격, 등급이나 조언이 결코 아닙니다.
전이 경로
How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
측정되는 것과 그 정확도.
각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.
| 지표 | 단위 | 주기 | 출처 유형 | 라벨 |
|---|---|---|---|---|
| Population stability index by input | 무차원 | 월별 | 모니터링 | 추정 |
| 검증 기준선 대비 성능 | change in discrimination or calibration | 월별 또는 분기별 | 모니터링 | 추정 |
| 임계값을 초과하는 경보 모니터링 | 건수 | 월별 | 모니터링 기록 | 관측 |
| Models retrained in period | 건수 | 분기별 | Model records | 신고됨 |
| 모델에 영향을 미치는 데이터 파이프라인 사고 | 건수 | 분기별 | 사고 기록 | 보고됨 |
| Time from alert to remediation | 일 | per alert | 거버넌스 기록 | 관측 |
근거의 출처.
이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.
| 출처 | 제공하는 것 | 라이선스 등급 |
|---|---|---|
| PRA SS1/23 principles on model monitoring | Expectations for ongoing performance monitoring | 무료, 영국은행 조건 |
| SR 11-7 on ongoing monitoring and outcomes analysis | United States expectations | 퍼블릭 도메인 |
| EBA guidelines on loan origination and monitoring | Monitoring of automated credit models | 무료, EU 재사용 조건 |
| Academic research on dataset shift | Methods for detecting and adapting to drift | 무료 열람, 이용 조건은 발행처별 상이 |
| Bank Pillar 3 model back-testing disclosures | Back-testing results for capital models | 공개 기록, 은행별 조건 |
| 결정 주체 | 질문 | 이 페이지가 제공하는 근거 |
|---|---|---|
| 모델 소유자 | When to recalibrate, redevelop or retire a model | Monitoring results against thresholds |
| 모형 리스크 함수 | What monitoring standards apply by tier | Policy and monitoring evidence |
| 감독 기관 | Whether monitoring is adequate for capital and conduct models | 백테스트 및 검토 결과 |
| Data owners | 상위 단계의 변경을 통제하는 방식 | Pipeline incident records |
이 주제가 생산하는 산출물
- 데이터 드리프트와 개념 드리프트 가이드
- Method note on monitoring thresholds and alerts
- Brief on controls for frequently retrained models
- Questions for model owners on late-arriving outcomes
전문가가 묻는 것.
Monitoring questions ask how soon a problem will be seen.
- Which performance measures are monitored, and how often?
- How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
- 입력 데이터의 분포가 변했는가, 그리고 그것이 중요한가?
- What thresholds trigger review, recalibration or withdrawal, and who set them?
- How are continuously retrained models governed?
메커니즘과 동인.
Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
연구되는 방식과 방법의 한계.
| 방법 또는 데이터 | 표시 내용 | 한계 |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | 성과는 지연되어 나타납니다 |
| Distribution shift statistics | Changes in input data | 변화가 반드시 성능 저하를 뜻하지는 않습니다 |
| 벤치마크 모델 및 챌린저 모델 | 상대적 성과 | Challengers share some data limitations |
| Threshold and alerting frameworks | 에스컬레이션 시점 | Thresholds involve judgement |
연구되는 방식과 방법이 말할 수 없는 것.
질문과 답변.
What is the difference between data drift and concept drift?
What is a population stability index?
Should models retrain automatically?
개념 드리프트는 왜 탐지하기 어렵습니까?
Is automatic retraining a solution?
Does the platform monitor firms’ models?
이 페이지에서 증거를 기여하십시오.
Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.
- 이메일게이트웨이 GW-GRA이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 보고서글로벌 리스크 얼라이언스(Global Risks Alliance)모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
익스포저나 자본에 관한 질문을 얼라이언스에 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.