기록에 남은 인간 개입 통제.
Human in the loop controls: how the risk develops.
Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
자동화 편향
모델의 권고를 제시받은 검토자는 특히 시간 압박이 있거나 모델이 대체로 옳을 때 이를 수용하는 경향이 있습니다. 이 경우 감독은 명목상의 승인에 그치게 됩니다.
Reviewers lack context
Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.
Accountability must stay with people
규정과 거버넌스는 책임을 지명된 개인과 이사회에 부여합니다. 결정을 모델에 위임하더라도 책임이 위임되는 것은 아닙니다.
Overrides teach the system
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
What human in the loop controls means for exposure, loss and capital.
리스크 책임자, 감독 당국이나 재무부가 요구할 익스포저, 손실, 시나리오와 자본 보기와 이들이 보고의 기준으로 삼는 체계. 구조는 감독과 보험계리 실무를 따릅니다. 값은 예시이며 가격, 등급이나 조언이 결코 아닙니다.
전이 경로
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
측정되는 것과 그 정확도.
각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.
| 지표 | 단위 | 주기 | 출처 유형 | 라벨 |
|---|---|---|---|---|
| 재정 비율 무시율 | 모델 권고가 번복된 비율 | 월별 | 결정 기록 | 관측 |
| Outcome of overrides | performance of overridden against non-overridden decisions | 분기별 | 의사결정 및 결과 기록 | 추정 |
| Review time per case | 분 | 월별 | Workflow data | 관측 |
| Decisions fully automated | share of decisions | 분기별 | Process records | 신고됨 |
| 모델 사용별 책임 담당자 지정 | share of uses | 연간 | 거버넌스 기록 | 신고됨 |
| 자동화된 결정에 대한 고객 이의 제기 | 인용된 건수 및 비율 | 분기별 | 민원 데이터 | 보고됨 |
근거의 출처.
이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.
| 출처 | 제공하는 것 | 라이선스 등급 |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Legal expectations for oversight design | 무료, EU 재사용 조건 |
| GDPR provisions on automated individual decision-making | Rights concerning solely automated decisions | 무료, EU 재사용 조건 |
| UK Senior Managers and Certification Regime documents | 영국 금융회사의 개인별 책임 체계 | Free, FCA and PRA terms |
| Research on automation bias in decision support | Evidence on human reliance on automated advice | 무료 열람, 이용 조건은 발행처별 상이 |
| IAIS Application Paper on the supervision of AI | Accountability expectations for insurers | 무료, IAIS 조건 |
| 결정 주체 | 질문 | 이 페이지가 제공하는 근거 |
|---|---|---|
| Boards and senior managers | Which decisions must keep human judgement and who is accountable | Use risk, legal duties and override evidence |
| Operations leaders | 검토자에게 자원과 정보를 제공하는 방법 | Workflow, time and override data |
| 규제 기관 | Whether oversight arrangements meet legal requirements | 프로세스 설계와 성과 근거 |
| 모형 리스크 함수 | How override data feed model review | Override and outcome analysis |
이 주제가 생산하는 산출물
- Guide to designing meaningful human review
- 예외 처리와 그 결과를 분석하는 방법에 관한 설명
- Brief on accountability when decisions are automated
- Questions for boards on where judgement must remain human
- At which points in the process does a person review, and with what authority?
- 검토자는 모델에 이견을 제기할 수 있는 정보와 시간을 갖고 있습니까?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- Can the process be stopped quickly if the model behaves unexpectedly?
메커니즘과 동인.
Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.
감독은 리스크에 맞게 설계되어야 합니다. 영향이 작은 결정에는 완전 자동 처리가 허용될 수 있지만, 사람에게 중대한 영향을 미치는 결정이나 큰 재무적 노출에는 더 강한 사람의 개입이 필요합니다. 일부 법적 체계는 완전 자동화된 결정과 관련하여 개인에게 권리를 부여합니다.
연구되는 방식과 방법의 한계.
| 방법 또는 데이터 | 표시 내용 | 한계 |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | Formal design may differ from practice |
| 오버라이드 분석 | How and why humans disagree with models | Requires good logging |
| 인적 요인 연구 | 자동화 편향 과 업무량 영향 | Laboratory findings may not transfer |
| Incident review | Failures of oversight | Incidents are under-reported |
이 페이지가 컨소시엄 전체에서 어디로 이어지는지.
질문과 답변.
What is automation bias?
Does a human reviewer make a decision lawful?
왜 재정의 사례를 분석합니까?
Is human review always necessary?
Does the platform set oversight standards?
이 페이지에서 증거를 기여하십시오.
Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.
- 이메일게이트웨이 GW-GRA이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 보고서글로벌 리스크 얼라이언스(Global Risks Alliance)모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
익스포저나 자본에 관한 질문을 얼라이언스에 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.