記録に残る、人間が関与する統制。
Human in the loop controls: how the risk develops.
Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
自動化バイアス
Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.
Reviewers lack context
説明、信頼度スコア、基礎データへのアクセスがなければ、レビュー担当者はいつ判断を覆すべきかを判断できず、ほとんど覆さない。
Accountability must stay with people
規制およびガバナンスは、責任を特定の個人や取締役会に割り当てます。意思決定をモデルに委ねても、説明責任まで委ねたことにはなりません。
手動による上書きがシステムを学習させる
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
What human in the loop controls means for exposure, loss and capital.
リスク責任者、監督当局、財務省が求めるエクスポージャー、損失、シナリオ、資本のビューと、それらが報告の根拠とする枠組み。構造は監督実務とアクチュアリー実務に従います。値は例示であり、価格、格付け、助言では決してありません。
波及経路
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| オーバーライド率 | モデルの推奨が覆された割合 | 月次 | 決定記録 | 観測 |
| Outcome of overrides | performance of overridden against non-overridden decisions | 四半期ごと | 意思決定と結果の記録 | 推定 |
| Review time per case | 分 | 月次 | ワークフローデータ | 観測 |
| Decisions fully automated | share of decisions | 四半期ごと | プロセス記録 | 申告済み |
| モデルの用途ごとに責任者を指名 | share of uses | 年次 | ガバナンス記録 | 申告済み |
| 自動化された決定に対する顧客の異議申立て | 支持された件数と割合 | 四半期ごと | 苦情データ | 報告値 |
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Legal expectations for oversight design | 無料、EU の再利用条件 |
| GDPR provisions on automated individual decision-making | Rights concerning solely automated decisions | 無料、EU の再利用条件 |
| 英国の Senior Managers and Certification Regime(上級管理者・認証制度)に関する文書 | 英国の金融機関における個人の責任 | Free, FCA and PRA terms |
| Research on automation bias in decision support | Evidence on human reliance on automated advice | 閲覧無料、条件は出版社ごと |
| IAIS Application Paper on the supervision of AI | Accountability expectations for insurers | 無料、IAIS の利用規約 |
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| 取締役会と上級管理者 | どの意思決定で人間の判断を維持しなければならないか、また誰が説明責任を負うか | Use risk, legal duties and override evidence |
| オペレーション責任者 | How reviewers are resourced and informed | Workflow, time and override data |
| 規制当局 | Whether oversight arrangements meet legal requirements | プロセス設計と成果のエビデンス |
| モデルリスクの機能 | How override data feed model review | Override and outcome analysis |
このトピックが生み出す成果物
- 意味のある人間によるレビューを設計するためのガイド
- Method note on analysing overrides and their outcomes
- 意思決定が自動化される場合の説明責任に関するブリーフ
- Questions for boards on where judgement must remain human
- At which points in the process does a person review, and with what authority?
- Do reviewers have the information and time to disagree with the model?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- モデルが想定外の挙動を示した場合、プロセスを速やかに停止できるか。
メカニズムと要因。
Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
どのように研究され、手法がどこで止まるか。
| 手法またはデータ | 表示内容 | 限界 |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | 形式上の設計は実務と異なる場合がある |
| オーバーライド分析 | How and why humans disagree with models | Requires good logging |
| ヒューマンファクター研究 | 自動化バイアス と作業負荷の影響 | Laboratory findings may not transfer |
| Incident review | Failures of oversight | インシデントは過少に報告されている |
このページがコンソーシアム全体でどこへつながるか。
質問と回答。
自動化バイアスとは何か。
Does a human reviewer make a decision lawful?
Why analyse overrides?
人間によるレビューは常に必要か。
このプラットフォームは監督基準を定めていますか。
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GRAこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書グローバル・リスク・アライアンス(Global Risks Alliance)貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
エクスポージャーまたは資本に関する問いをアライアンスに持ち込む。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。