Skip to content

GRA · Риски ИИ и финансовых моделей

Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом

Механизмы контроля с участием человека

Human oversight is meant to catch model errors, handle exceptions and keep accountability with people. In practice reviewers can defer to models, lack time or information, or be removed as automation grows. This page sets out how human-in-the-loop controls work and fail in financial services, how their effectiveness is measured, and who decides where human judgement must stay.

02Вопрос

Human in the loop controls: how the risk develops.

Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Automation bias

Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.

Механизм

Рецензентам не хватает контекста

Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.

Механизм

Accountability must stay with people

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

Механизм

Overrides teach the system

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03Подверженность, убытки и капитал

What human in the loop controls means for exposure, loss and capital.

Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.

Каналы передачи

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Климатические сценарии NGFS · Сеть по экологизации финансовой системыIFRS S2 «Раскрытие информации, связанной с климатом» · ISSBРекомендации TCFD · Совет по финансовой стабильности, TCFDПринципы эффективного управления климатическими финансовыми рисками · Базельский комитет по банковскому надзору
04Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Override rateдоля рекомендаций модели, которые были отклоненыежемесячноПротоколы решенийНАБЛЮДАЕМО
Результат отмены решенийperformance of overridden against non-overridden decisionsежеквартальноЗаписи о решениях и результатахОЦЕНЕНО
Review time per caseминутыежемесячноДанные рабочих процессовНАБЛЮДАЕМО
Decisions fully automatedshare of decisionsежеквартальноProcess recordsЗАДЕКЛАРИРОВАНО
Named accountable owner per model useshare of usesежегодноЗаписи об управленииЗАДЕКЛАРИРОВАНО
Customer appeals of automated decisionsколичество и доля удовлетворённыхежеквартальноДанные о жалобахСООБЩЕНО
05Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight designБесплатно, условия повторного использования ЕС
GDPR provisions on automated individual decision-makingRights concerning solely automated decisionsБесплатно, условия повторного использования ЕС
Документы режима старших руководителей и сертификации ВеликобританииIndividual accountability in UK financial firmsБесплатные условия, условия FCA и PRA
Исследования предвзятости автоматизации при поддержке принятия решенийEvidence on human reliance on automated adviceМожно читать бесплатно, условия определяет издатель
Прикладной документ IAIS по надзору за ИИAccountability expectations for insurersБесплатно, условия IAIS
06Решения

Кто принимает решения и чему служит доказательная база.

«Риски ИИ и финансовых моделей » готовит доказательную базу. Перечисленные ниже решения принимаются указанными органами по их собственным правилам, но не платформой.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Boards and senior managersWhich decisions must keep human judgement and who is accountableUse risk, legal duties and override evidence
Руководители по операционной деятельностиHow reviewers are resourced and informedWorkflow, time and override data
РегуляторыWhether oversight arrangements meet legal requirementsProcess design and outcome evidence
Функции управления модельным рискомHow override data feed model reviewOverride and outcome analysis

Результаты, которые даёт эта тема

  • Руководство по организации содержательной проверки человеком
  • Method note on analysing overrides and their outcomes
  • Brief on accountability when decisions are automated
  • Questions for boards on where judgement must remain human
07Ключевые вопросы

Что спрашивают эксперты.

Вопросы направлены на то, является ли человеческий надзор реальным или номинальным.

  • На каких этапах процесса вмешивается человек и с какими полномочиями?
  • Есть ли у рецензентов информация и время, чтобы не согласиться с моделью?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Can the process be stopped quickly if the model behaves unexpectedly?
08Механизмы

Механизмы и движущие факторы.

Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09Методы и данные

Как это изучается и где пределы методов.

Метод или данныеЧто он показываетОграничения
Process and decision-rights mappingWhere humans sit and what they can doFormal design may differ from practice
Override analysisHow and why humans disagree with modelsRequires good logging
Исследования человеческого фактораAutomation bias and workload effectsLaboratory findings may not transfer
Incident reviewFailures of oversightIncidents are under-reported
10Методы

Как это изучается и чего методы не могут сказать.

11Связано

Куда ведёт эта страница в рамках Консорциума.

12Вопросы

Вопросы и ответы.

Что такое предвзятость автоматизации?
The tendency of people to over-rely on automated recommendations, accepting them without sufficient scrutiny even when they are wrong.
Does a human reviewer make a decision lawful?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
Why analyse overrides?
Because their frequency and outcomes show where models are weak and whether human judgement improves decisions or adds inconsistency.
Is human review always necessary?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
Нет. Стандарты устанавливают законодатели, регуляторы и учреждения. Глобальный альянс по рискам (Global Risks Alliance, GRA) публикует исследования отраслевого уровня.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Риски ИИ и финансовых моделей

Обратитесь в Альянс с вопросом о подверженности или капитале.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.