Skip to content

GRA · Риски ИИ и финансовых моделей

Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом

Мониторинг моделей и дрейф

A model validated at launch can fail later as customers, products, markets and data pipelines change. Monitoring tracks performance, input distributions and outcomes to detect drift and trigger review. Machine learning models that retrain frequently add their own risks. This page sets out how drift arises, how monitoring detects it, the measures used, and who decides when a model must change or stop.

02Вопрос

Model monitoring and drift: how the risk develops.

Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Data drift

The distribution of inputs shifts as new customer segments arrive, products change or upstream systems alter fields. The model meets data it was not trained on.

Механизм

Concept drift

Соотношение между входными данными и результатами меняется, например, когда экономический шок изменяет состав неплательщиков. Точность падает, даже если входные данные выглядят стабильными.

Механизм

Outcomes arrive late

Defaults and claims emerge months or years after decisions, so true performance is known late. Proxies and early indicators fill the gap with uncertainty.

Механизм

Retraining adds risk

Частое переобучение может компенсировать дрейф, но модель также может усваивать петли обратной связи или искажённые данные. Для каждой переобученной версии нужны меры контроля, соразмерные её использованию.

03Подверженность, убытки и капитал

What model monitoring and drift means for exposure, loss and capital.

Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.

Каналы передачи

Как шок в области мониторинга моделей и дрейфа моделей передаётся на кредитный, рыночный и андеррайтинговый риски, риск ликвидности и операционный риск и как возникает обратная связь.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Климатические сценарии NGFS · Сеть по экологизации финансовой системыIFRS S2 «Раскрытие информации, связанной с климатом» · ISSBРекомендации TCFD · Совет по финансовой стабильности, TCFDПринципы эффективного управления климатическими финансовыми рисками · Базельский комитет по банковскому надзору
04Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Population stability index by inputбезразмерная величинаежемесячноМониторингОЦЕНЕНО
Результаты относительно базового уровня валидацииchange in discrimination or calibrationежемесячно или ежеквартальноМониторингОЦЕНЕНО
Monitoring alerts breaching thresholdsколичествоежемесячноMonitoring recordsНАБЛЮДАЕМО
Models retrained in periodколичествоежеквартальноModel recordsЗАДЕКЛАРИРОВАНО
Data pipeline incidents affecting modelsколичествоежеквартальноЗаписи об инцидентахСООБЩЕНО
Time from alert to remediationдн.на одно оповещениеЗаписи об управленииНАБЛЮДАЕМО
05Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
Принципы PRA SS1/23 в отношении мониторинга моделейExpectations for ongoing performance monitoringБесплатно, на условиях Банка Англии
SR 11-7 on ongoing monitoring and outcomes analysisUnited States expectationsОбщественное достояние
EBA guidelines on loan origination and monitoringMonitoring of automated credit modelsБесплатно, условия повторного использования ЕС
Academic research on dataset shiftМетоды выявления дрейфа и адаптации к немуМожно читать бесплатно, условия определяет издатель
Bank Pillar 3 model back-testing disclosuresBack-testing results for capital modelsПубличные записи, условия каждого банка
06Решения

Кто принимает решения и чему служит доказательная база.

«Риски ИИ и финансовых моделей » готовит доказательную базу. Перечисленные ниже решения принимаются указанными органами по их собственным правилам, но не платформой.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Владельцы моделейWhen to recalibrate, redevelop or retire a modelMonitoring results against thresholds
Функции управления модельным рискомWhat monitoring standards apply by tierPolicy and monitoring evidence
Надзорные органыWhether monitoring is adequate for capital and conduct modelsBack-testing and review findings
Владельцы данныхHow upstream changes are controlledPipeline incident records

Результаты, которые даёт эта тема

  • Guide to data drift and concept drift
  • Method note on monitoring thresholds and alerts
  • Brief on controls for frequently retrained models
  • Questions for model owners on late-arriving outcomes
07Ключевые вопросы

Что спрашивают эксперты.

Monitoring questions ask how soon a problem will be seen.

  • Which performance measures are monitored, and how often?
  • How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
  • Has the input data distribution shifted, and does it matter?
  • What thresholds trigger review, recalibration or withdrawal, and who set them?
  • How are continuously retrained models governed?
08Механизмы

Механизмы и движущие факторы.

Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09Методы и данные

Как это изучается и где пределы методов.

Метод или данныеЧто он показываетОграничения
Performance tracking against outcomesAccuracy and calibration over timeOutcomes arrive with delay
Distribution shift statisticsChanges in input dataShift does not always mean performance loss
Benchmark and challenger modelsСравнительная результативностьChallengers share some data limitations
Threshold and alerting frameworksКогда передавать вопрос на вышестоящий уровеньThresholds involve judgement
10Методы

Как это изучается и чего методы не могут сказать.

  1. Теория вероятностей и статистикаТестирование калибровки · Статистика дрейфа · Сравнение результатов по группамПрименяется здесь
  2. Количественная оценка неопределённости и валидация моделейИнтервалы прогнозирования для моделей убытков · Ансамбли моделей · Капитал или буферы на модельный рискПрименяется здесь
  3. Искусственный интеллект и машинное обучениеКредитные модели на основе градиентного бустинга · Языковые модели в операциях · Обнаружение аномалийПрименяется здесь
  4. Инженерная оценка ИИ и обеспечение уверенностиВалидация моделей машинного обучения · Тестирование генеративного ИИ «красной командой» · Оценка справедливостиПрименяется здесь
11Вопросы

Вопросы и ответы.

What is the difference between data drift and concept drift?
Data drift is a change in the distribution of inputs; concept drift is a change in how inputs relate to outcomes. Either can reduce model accuracy.
What is a population stability index?
A measure comparing the distribution of a variable or score between two periods, used to detect shifts in the population a model scores.
Should models retrain automatically?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
Why is concept drift hard to detect?
Because it involves changes in the relationship between inputs and outcomes, and outcomes such as defaults may only be known long after decisions are made.
Является ли автоматическое переобучение решением?
It can help but needs governance: retrained models can absorb errors, bias or temporary conditions, and must still be tested and approved.
Does the platform monitor firms’ models?
No. GRA does not monitor, validate or approve any model.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Риски ИИ и финансовых моделей

Обратитесь в Альянс с вопросом о подверженности или капитале.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.