GRA · Риски ИИ и финансовых моделей
Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом
Мониторинг моделей и дрейф
A model validated at launch can fail later as customers, products, markets and data pipelines change. Monitoring tracks performance, input distributions and outcomes to detect drift and trigger review. Machine learning models that retrain frequently add their own risks. This page sets out how drift arises, how monitoring detects it, the measures used, and who decides when a model must change or stop.
Model monitoring and drift on the record.
Model monitoring and drift: how the risk develops.
Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Data drift
The distribution of inputs shifts as new customer segments arrive, products change or upstream systems alter fields. The model meets data it was not trained on.
Concept drift
Соотношение между входными данными и результатами меняется, например, когда экономический шок изменяет состав неплательщиков. Точность падает, даже если входные данные выглядят стабильными.
Outcomes arrive late
Defaults and claims emerge months or years after decisions, so true performance is known late. Proxies and early indicators fill the gap with uncertainty.
Retraining adds risk
Частое переобучение может компенсировать дрейф, но модель также может усваивать петли обратной связи или искажённые данные. Для каждой переобученной версии нужны меры контроля, соразмерные её использованию.
What model monitoring and drift means for exposure, loss and capital.
Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.
Каналы передачи
Как шок в области мониторинга моделей и дрейфа моделей передаётся на кредитный, рыночный и андеррайтинговый риски, риск ликвидности и операционный риск и как возникает обратная связь.
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Population stability index by input | безразмерная величина | ежемесячно | Мониторинг | ОЦЕНЕНО |
| Результаты относительно базового уровня валидации | change in discrimination or calibration | ежемесячно или ежеквартально | Мониторинг | ОЦЕНЕНО |
| Monitoring alerts breaching thresholds | количество | ежемесячно | Monitoring records | НАБЛЮДАЕМО |
| Models retrained in period | количество | ежеквартально | Model records | ЗАДЕКЛАРИРОВАНО |
| Data pipeline incidents affecting models | количество | ежеквартально | Записи об инцидентах | СООБЩЕНО |
| Time from alert to remediation | дн. | на одно оповещение | Записи об управлении | НАБЛЮДАЕМО |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| Принципы PRA SS1/23 в отношении мониторинга моделей | Expectations for ongoing performance monitoring | Бесплатно, на условиях Банка Англии |
| SR 11-7 on ongoing monitoring and outcomes analysis | United States expectations | Общественное достояние |
| EBA guidelines on loan origination and monitoring | Monitoring of automated credit models | Бесплатно, условия повторного использования ЕС |
| Academic research on dataset shift | Методы выявления дрейфа и адаптации к нему | Можно читать бесплатно, условия определяет издатель |
| Bank Pillar 3 model back-testing disclosures | Back-testing results for capital models | Публичные записи, условия каждого банка |
Кто принимает решения и чему служит доказательная база.
«Риски ИИ и финансовых моделей » готовит доказательную базу. Перечисленные ниже решения принимаются указанными органами по их собственным правилам, но не платформой.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Владельцы моделей | When to recalibrate, redevelop or retire a model | Monitoring results against thresholds |
| Функции управления модельным риском | What monitoring standards apply by tier | Policy and monitoring evidence |
| Надзорные органы | Whether monitoring is adequate for capital and conduct models | Back-testing and review findings |
| Владельцы данных | How upstream changes are controlled | Pipeline incident records |
Результаты, которые даёт эта тема
- Guide to data drift and concept drift
- Method note on monitoring thresholds and alerts
- Brief on controls for frequently retrained models
- Questions for model owners on late-arriving outcomes
Что спрашивают эксперты.
Monitoring questions ask how soon a problem will be seen.
- Which performance measures are monitored, and how often?
- How quickly are outcomes, such as defaults or claims, observed, and what fills the gap meanwhile?
- Has the input data distribution shifted, and does it matter?
- What thresholds trigger review, recalibration or withdrawal, and who set them?
- How are continuously retrained models governed?
Механизмы и движущие факторы.
Data drift occurs when the distribution of inputs changes, for example a new customer segment or a change in a data source. Concept drift occurs when the relationship between inputs and outcomes changes, for example when an economic shock alters how income predicts repayment. Concept drift is more dangerous and harder to detect, because outcomes may take months or years to observe.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Как это изучается и где пределы методов.
| Метод или данные | Что он показывает | Ограничения |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | Outcomes arrive with delay |
| Distribution shift statistics | Changes in input data | Shift does not always mean performance loss |
| Benchmark and challenger models | Сравнительная результативность | Challengers share some data limitations |
| Threshold and alerting frameworks | Когда передавать вопрос на вышестоящий уровень | Thresholds involve judgement |
Как это изучается и чего методы не могут сказать.
- 01Теория вероятностей и статистикаТестирование калибровки · Статистика дрейфа · Сравнение результатов по группамПрименяется здесь
- 02Количественная оценка неопределённости и валидация моделейИнтервалы прогнозирования для моделей убытков · Ансамбли моделей · Капитал или буферы на модельный рискПрименяется здесь
- 03Искусственный интеллект и машинное обучениеКредитные модели на основе градиентного бустинга · Языковые модели в операциях · Обнаружение аномалийПрименяется здесь
- 04Инженерная оценка ИИ и обеспечение уверенностиВалидация моделей машинного обучения · Тестирование генеративного ИИ «красной командой» · Оценка справедливостиПрименяется здесь
Вопросы и ответы.
What is the difference between data drift and concept drift?
What is a population stability index?
Should models retrain automatically?
Why is concept drift hard to detect?
Является ли автоматическое переобучение решением?
Does the platform monitor firms’ models?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаКонтрольная точка GW-GRAОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Обратитесь в Альянс с вопросом о подверженности или капитале.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.