Skip to content

GRA · AI와 금융 모델 리스크

공간 금융자본이 재해, 노출, 전환과 만나는 곳

휴먼 인 더 루프 통제

사람의 감독 은 모델 오류를 포착하고, 예외를 처리하며, 책임을 사람에게 두기 위한 장치입니다. 실제로는 검토자가 모델에 의존하거나, 시간이나 정보가 부족하거나, 자동화가 확대되면서 배제되기도 합니다. 이 페이지는 금융 서비스에서 휴먼 인 더 루프 통제가 어떻게 작동하고 실패하는지, 그 효과를 어떻게 측정하는지, 인간의 판단이 어디에 남아야 하는지를 누가 결정하는지를 설명합니다.

01등록

기록에 남은 인간 개입 통제.

02질문

Human in the loop controls: how the risk develops.

Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

메커니즘

자동화 편향

모델의 권고를 제시받은 검토자는 특히 시간 압박이 있거나 모델이 대체로 옳을 때 이를 수용하는 경향이 있습니다. 이 경우 감독은 명목상의 승인에 그치게 됩니다.

메커니즘

Reviewers lack context

Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.

메커니즘

Accountability must stay with people

규정과 거버넌스는 책임을 지명된 개인과 이사회에 부여합니다. 결정을 모델에 위임하더라도 책임이 위임되는 것은 아닙니다.

메커니즘

Overrides teach the system

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03노출, 손실 및 자본

What human in the loop controls means for exposure, loss and capital.

리스크 책임자, 감독 당국이나 재무부가 요구할 익스포저, 손실, 시나리오와 자본 보기와 이들이 보고의 기준으로 삼는 체계. 구조는 감독과 보험계리 실무를 따릅니다. 값은 예시이며 가격, 등급이나 조언이 결코 아닙니다.

전이 경로

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS 기후 시나리오 · 녹색금융협의체IFRS S2 기후 관련 공시 · ISSBTCFD 권고안 · 금융안정위원회 TCFD기후 관련 금융 리스크의 효과적 관리 원칙 · 바젤은행감독위원회
04지표

측정되는 것과 그 정확도.

각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.

지표단위주기출처 유형라벨
재정 비율 무시율모델 권고가 번복된 비율월별결정 기록관측
Outcome of overridesperformance of overridden against non-overridden decisions분기별의사결정 및 결과 기록추정
Review time per case분월별Workflow data관측
Decisions fully automatedshare of decisions분기별Process records신고됨
모델 사용별 책임 담당자 지정share of uses연간거버넌스 기록신고됨
자동화된 결정에 대한 고객 이의 제기인용된 건수 및 비율분기별민원 데이터보고됨
05출처

근거의 출처.

이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.

출처제공하는 것라이선스 등급
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight design무료, EU 재사용 조건
GDPR provisions on automated individual decision-makingRights concerning solely automated decisions무료, EU 재사용 조건
UK Senior Managers and Certification Regime documents영국 금융회사의 개인별 책임 체계Free, FCA and PRA terms
Research on automation bias in decision supportEvidence on human reliance on automated advice무료 열람, 이용 조건은 발행처별 상이
IAIS Application Paper on the supervision of AIAccountability expectations for insurers무료, IAIS 조건
06결정

누가 결정하며 근거는 무엇에 쓰이는지.

AI와 금융 모델 리스크 는 근거를 준비합니다. 아래의 결정은 명시된 당국이 각자의 규칙에 따라 내리며, 플랫폼이 내리지 않습니다.

결정 주체질문이 페이지가 제공하는 근거
Boards and senior managersWhich decisions must keep human judgement and who is accountableUse risk, legal duties and override evidence
Operations leaders검토자에게 자원과 정보를 제공하는 방법Workflow, time and override data
규제 기관Whether oversight arrangements meet legal requirements프로세스 설계와 성과 근거
모형 리스크 함수How override data feed model reviewOverride and outcome analysis

이 주제가 생산하는 산출물

  • Guide to designing meaningful human review
  • 예외 처리와 그 결과를 분석하는 방법에 관한 설명
  • Brief on accountability when decisions are automated
  • Questions for boards on where judgement must remain human
07핵심 질문

전문가가 묻는 것.

질문은 사람의 감독 이 실질적인지 형식적인지를 묻습니다.

  • At which points in the process does a person review, and with what authority?
  • 검토자는 모델에 이견을 제기할 수 있는 정보와 시간을 갖고 있습니까?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Can the process be stopped quickly if the model behaves unexpectedly?
08메커니즘

메커니즘과 동인.

Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.

감독은 리스크에 맞게 설계되어야 합니다. 영향이 작은 결정에는 완전 자동 처리가 허용될 수 있지만, 사람에게 중대한 영향을 미치는 결정이나 큰 재무적 노출에는 더 강한 사람의 개입이 필요합니다. 일부 법적 체계는 완전 자동화된 결정과 관련하여 개인에게 권리를 부여합니다.

09방법과 데이터

연구되는 방식과 방법의 한계.

방법 또는 데이터표시 내용한계
Process and decision-rights mappingWhere humans sit and what they can doFormal design may differ from practice
오버라이드 분석How and why humans disagree with modelsRequires good logging
인적 요인 연구자동화 편향 과 업무량 영향Laboratory findings may not transfer
Incident reviewFailures of oversightIncidents are under-reported
10방법

연구되는 방식과 방법이 말할 수 없는 것.

  1. AI 평가 및 보증 공학머신러닝 모델 검증 · 생성형 AI 레드 티밍 · 공정성 평가이곳에서의 적용
  2. 인공지능과 머신러닝그래디언트 부스팅 신용 모델 · 운영에서의 언어 모델 · 이상 탐지이곳에서의 적용
  3. 확률과 통계보정 시험 · 드리프트 통계 · 집단별 결과 비교이곳에서의 적용
11연결됨

이 페이지가 컨소시엄 전체에서 어디로 이어지는지.

12질문

질문과 답변.

What is automation bias?
자동화된 권고가 틀린 경우에도 충분한 검토 없이 이를 수용하며 과도하게 의존하는 사람들의 경향.
Does a human reviewer make a decision lawful?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
왜 재정의 사례를 분석합니까?
Because their frequency and outcomes show where models are weak and whether human judgement improves decisions or adds inconsistency.
Is human review always necessary?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.

글로벌 리스크 얼라이언스(Global Risks Alliance)AI와 금융 모델 리스크방법 및 기술기하급수 기술
AI와 금융 모델 리스크

익스포저나 자본에 관한 질문을 얼라이언스에 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.