Skip to content

GRA · AIと金融モデル・リスク

空間金融資本がハザード、エクスポージャー、移行と出会う場所

ヒューマン・イン・ザ・ループのコントロール

人間による監督 は、モデルの誤りを捉え、例外を処理し、説明責任を人に残すことを意図している。実際には、レビュー担当者がモデルに従いがちになったり、時間や情報が不足したり、自動化の拡大に伴い配置が外されたりすることがある。本ページでは、金融サービスにおけるヒューマン・イン・ザ・ループの統制がどのように機能し、どのように機能不全に陥るか、その有効性をどう測定するか、人間の判断をどこに残すかを誰が決めるかを示す。

01登録

記録に残る、人間が関与する統制。

02質問

Human in the loop controls: how the risk develops.

Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

メカニズム

自動化バイアス

Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.

メカニズム

Reviewers lack context

説明、信頼度スコア、基礎データへのアクセスがなければ、レビュー担当者はいつ判断を覆すべきかを判断できず、ほとんど覆さない。

メカニズム

Accountability must stay with people

規制およびガバナンスは、責任を特定の個人や取締役会に割り当てます。意思決定をモデルに委ねても、説明責任まで委ねたことにはなりません。

メカニズム

手動による上書きがシステムを学習させる

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03エクスポージャー、損失、資本

What human in the loop controls means for exposure, loss and capital.

リスク責任者、監督当局、財務省が求めるエクスポージャー、損失、シナリオ、資本のビューと、それらが報告の根拠とする枠組み。構造は監督実務とアクチュアリー実務に従います。値は例示であり、価格、格付け、助言では決してありません。

波及経路

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
NGFS 気候シナリオ · 気候変動リスク等に係る金融当局ネットワークIFRS S2 気候関連開示 · ISSBTCFD 提言 · 金融安定理事会 TCFD気候関連金融リスクの実効的な管理のための諸原則 · バーゼル銀行監督委員会
04指標

何を、どの程度うまく測定しているか。

各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。

指標単位周期出典の種類ラベル
オーバーライド率モデルの推奨が覆された割合月次決定記録観測
Outcome of overridesperformance of overridden against non-overridden decisions四半期ごと意思決定と結果の記録推定
Review time per case分月次ワークフローデータ観測
Decisions fully automatedshare of decisions四半期ごとプロセス記録申告済み
モデルの用途ごとに責任者を指名share of uses年次ガバナンス記録申告済み
自動化された決定に対する顧客の異議申立て支持された件数と割合四半期ごと苦情データ報告値
05出典

エビデンスの出所。

名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。

出典提供するものライセンス区分
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight design無料、EU の再利用条件
GDPR provisions on automated individual decision-makingRights concerning solely automated decisions無料、EU の再利用条件
英国の Senior Managers and Certification Regime(上級管理者・認証制度)に関する文書英国の金融機関における個人の責任Free, FCA and PRA terms
Research on automation bias in decision supportEvidence on human reliance on automated advice閲覧無料、条件は出版社ごと
IAIS Application Paper on the supervision of AIAccountability expectations for insurers無料、IAIS の利用規約
06決定

誰が決め、エビデンスが何に役立つか。

AI と金融 モデルリスク はエビデンスを準備する。以下の決定は、名称を挙げた当局が自らの規則に基づいて行うものであり、プラットフォームが行うことはない。

誰が決定するか質問このページが提供するエビデンス
取締役会と上級管理者どの意思決定で人間の判断を維持しなければならないか、また誰が説明責任を負うかUse risk, legal duties and override evidence
オペレーション責任者How reviewers are resourced and informedWorkflow, time and override data
規制当局Whether oversight arrangements meet legal requirementsプロセス設計と成果のエビデンス
モデルリスクの機能How override data feed model reviewOverride and outcome analysis

このトピックが生み出す成果物

  • 意味のある人間によるレビューを設計するためのガイド
  • Method note on analysing overrides and their outcomes
  • 意思決定が自動化される場合の説明責任に関するブリーフ
  • Questions for boards on where judgement must remain human
07中核となる問い

専門家が問うこと。

設問では、 人間による監督 が実質的なものか形式的なものかを問います。

  • At which points in the process does a person review, and with what authority?
  • Do reviewers have the information and time to disagree with the model?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • モデルが想定外の挙動を示した場合、プロセスを速やかに停止できるか。
08メカニズム

メカニズムと要因。

Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09手法とデータ

どのように研究され、手法がどこで止まるか。

手法またはデータ表示内容限界
Process and decision-rights mappingWhere humans sit and what they can do形式上の設計は実務と異なる場合がある
オーバーライド分析How and why humans disagree with modelsRequires good logging
ヒューマンファクター研究自動化バイアス と作業負荷の影響Laboratory findings may not transfer
Incident reviewFailures of oversightインシデントは過少に報告されている
10手法

どのように研究され、手法が言えないことは何か。

  1. AI 評価・保証工学機械学習モデルの検証 · 生成 AI のレッドチーミング · 公平性の評価ここでの適用
  2. 人工知能と機械学習勾配ブースティングによる信用モデル · 業務における言語モデル · 異常検知ここでの適用
  3. 確率と統計較正の試験 · ドリフトの統計 · 集団間の結果の比較ここでの適用
11接続済み

このページがコンソーシアム全体でどこへつながるか。

12質問

質問と回答。

自動化バイアスとは何か。
自動化された推奨を過度に信頼し、誤っている場合でも十分に精査せずに受け入れてしまう人間の傾向。
Does a human reviewer make a decision lawful?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
Why analyse overrides?
Because their frequency and outcomes show where models are weak and whether human judgement improves decisions or adds inconsistency.
人間によるレビューは常に必要か。
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
このプラットフォームは監督基準を定めていますか。
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

グローバル・リスク・アライアンス(Global Risks Alliance)AIと金融モデル・リスク手法と技術指数関数的テクノロジー
AIと金融モデル・リスク

エクスポージャーまたは資本に関する問いをアライアンスに持ち込む。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。