GRA · Риски ИИ и финансовых моделей
Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом
Механизмы контроля с участием человека
Human oversight is meant to catch model errors, handle exceptions and keep accountability with people. In practice reviewers can defer to models, lack time or information, or be removed as automation grows. This page sets out how human-in-the-loop controls work and fail in financial services, how their effectiveness is measured, and who decides where human judgement must stay.
Human in the loop controls on the record.
Human in the loop controls: how the risk develops.
Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Automation bias
Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.
Рецензентам не хватает контекста
Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.
Accountability must stay with people
Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.
Overrides teach the system
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
What human in the loop controls means for exposure, loss and capital.
Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.
Каналы передачи
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Override rate | доля рекомендаций модели, которые были отклонены | ежемесячно | Протоколы решений | НАБЛЮДАЕМО |
| Результат отмены решений | performance of overridden against non-overridden decisions | ежеквартально | Записи о решениях и результатах | ОЦЕНЕНО |
| Review time per case | минуты | ежемесячно | Данные рабочих процессов | НАБЛЮДАЕМО |
| Decisions fully automated | share of decisions | ежеквартально | Process records | ЗАДЕКЛАРИРОВАНО |
| Named accountable owner per model use | share of uses | ежегодно | Записи об управлении | ЗАДЕКЛАРИРОВАНО |
| Customer appeals of automated decisions | количество и доля удовлетворённых | ежеквартально | Данные о жалобах | СООБЩЕНО |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Legal expectations for oversight design | Бесплатно, условия повторного использования ЕС |
| GDPR provisions on automated individual decision-making | Rights concerning solely automated decisions | Бесплатно, условия повторного использования ЕС |
| Документы режима старших руководителей и сертификации Великобритании | Individual accountability in UK financial firms | Бесплатные условия, условия FCA и PRA |
| Исследования предвзятости автоматизации при поддержке принятия решений | Evidence on human reliance on automated advice | Можно читать бесплатно, условия определяет издатель |
| Прикладной документ IAIS по надзору за ИИ | Accountability expectations for insurers | Бесплатно, условия IAIS |
Кто принимает решения и чему служит доказательная база.
«Риски ИИ и финансовых моделей » готовит доказательную базу. Перечисленные ниже решения принимаются указанными органами по их собственным правилам, но не платформой.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Boards and senior managers | Which decisions must keep human judgement and who is accountable | Use risk, legal duties and override evidence |
| Руководители по операционной деятельности | How reviewers are resourced and informed | Workflow, time and override data |
| Регуляторы | Whether oversight arrangements meet legal requirements | Process design and outcome evidence |
| Функции управления модельным риском | How override data feed model review | Override and outcome analysis |
Результаты, которые даёт эта тема
- Руководство по организации содержательной проверки человеком
- Method note on analysing overrides and their outcomes
- Brief on accountability when decisions are automated
- Questions for boards on where judgement must remain human
Что спрашивают эксперты.
Вопросы направлены на то, является ли человеческий надзор реальным или номинальным.
- На каких этапах процесса вмешивается человек и с какими полномочиями?
- Есть ли у рецензентов информация и время, чтобы не согласиться с моделью?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- Can the process be stopped quickly if the model behaves unexpectedly?
Механизмы и движущие факторы.
Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
Как это изучается и где пределы методов.
| Метод или данные | Что он показывает | Ограничения |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | Formal design may differ from practice |
| Override analysis | How and why humans disagree with models | Requires good logging |
| Исследования человеческого фактора | Automation bias and workload effects | Laboratory findings may not transfer |
| Incident review | Failures of oversight | Incidents are under-reported |
Как это изучается и чего методы не могут сказать.
- 01Инженерная оценка ИИ и обеспечение уверенностиВалидация моделей машинного обучения · Тестирование генеративного ИИ «красной командой» · Оценка справедливостиПрименяется здесь
- 02Искусственный интеллект и машинное обучениеКредитные модели на основе градиентного бустинга · Языковые модели в операциях · Обнаружение аномалийПрименяется здесь
- 03Теория вероятностей и статистикаТестирование калибровки · Статистика дрейфа · Сравнение результатов по группамПрименяется здесь
Куда ведёт эта страница в рамках Консорциума.
Вопросы и ответы.
Что такое предвзятость автоматизации?
Does a human reviewer make a decision lawful?
Why analyse overrides?
Is human review always necessary?
Does the platform set oversight standards?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаКонтрольная точка GW-GRAОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Обратитесь в Альянс с вопросом о подверженности или капитале.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.