GRA · Риски ИИ и финансовых моделей
Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом
Генеративный ИИ в финансах
Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.
Как ведётся работа.
Жизненный цикл риска моделей
Generative AI in finance · Model inventory · Committee 7
Жизненный цикл
- Инвентаризациязарегистрировано
- Разработказадокументировано
- Проверитьнезависимый
- Утверждениекомитет
- Внедритьсредства контроля
- Мониторингпороговые значения
- Рецензированиеежегодно
- Вывести из эксплуатациивывод из эксплуатации
Модели
| MD-264 PD retail | Уровень 1 | 12 месяцев | 2 | Просрочено |
| MD-251 LLM complaints triage | Уровень 1 | никогда | 0 | Не валидировано |
| MD-297 IFRS 9 staging | Уровень 1 | 5 months | 2 | Утверждено |
| MD-784 склонность к маркетинговому отклику | Уровень 3 | 6 месяцев | 1 | Утверждено |
Охват валидации
- Концептуальная обоснованность
- В работе
- Анализ результатов
- Ожидается
- Сравнительный анализ
- Ожидается
- Ограничения использования
- требуется проверка человеком
Рис.Жизненный цикл модельного риска: примеры названий и иллюстративные значения, а не запись и не действующая система.
Generative AI in finance: how the risk develops.
Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Складно, но неверно
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
Inputs can be weaponised
Prompt injection through documents, emails or web pages can make a model ignore instructions, reveal data or take unintended actions, especially when it is connected to tools.
Data leaks across boundaries
Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.
Behaviour changes with versions
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
What Generative AI in finance means for exposure, loss and capital.
Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.
Каналы передачи
How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Generative AI use cases in production | count by risk tier | ежеквартально | Use case register | ЗАДЕКЛАРИРОВАНО |
| Factual error rate on evaluation sets | share of responses | за оценку | Internal evaluation | ОЦЕНЕНО |
| Prompt injection test failures | count per test cycle | на тест | Red-team results | НАБЛЮДАЕМО |
| Data loss prevention events involving AI tools | количество | ежемесячно | Security monitoring | НАБЛЮДАЕМО |
| Customer complaints linked to AI-generated content | количество | ежеквартально | Данные о жалобах | СООБЩЕНО |
| Model version changes by providers | количество | в год | Vendor notices | СООБЩЕНО |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| Доклад Совета по финансовой стабильности (FSB) о последствиях искусственного интеллекта для финансовой стабильности | Vulnerabilities from AI adoption in finance | Бесплатно, условия FSB |
| IOSCO report on AI use cases, risks and challenges | AI use in capital markets | Бесплатно, условия IOSCO |
| NIST AI RMF generative AI profile | Risks and actions specific to generative AI | Общественное достояние |
| OWASP Top 10 for large language model applications | Типичные риски безопасности в приложениях на основе LLM | Free, CC BY-SA |
| Bank of England and FCA AI surveys | Adoption and governance of AI in UK finance | Бесплатно, условия Банка Англии и FCA |
Кто принимает решения и чему служит доказательная база.
«Риски ИИ и финансовых моделей » готовит доказательную базу. Перечисленные ниже решения принимаются указанными органами по их собственным правилам, но не платформой.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Советы директоров и исполнительные комитеты | Where generative AI may be used and with what controls | Уровни риска сценариев использования и результаты оценки |
| Model risk and security functions | Как проверяется и защищается генеративный ИИ | Evaluation, red-team and monitoring evidence |
| Conduct supervisors | Whether customer-facing AI meets conduct and disclosure duties | Complaints and outcome evidence |
| Procurement and legal teams | Which providers and data terms are acceptable | Условия договора и доказательства обработки данных |
Результаты, которые даёт эта тема
- Руководство по режимам отказа генеративного ИИ в финансовых услугах
- Method note on evaluating factual accuracy and grounding
- Brief on prompt injection and tool-connected assistants
- Вопросы для советов директоров о сценариях использования генеративного ИИ
Что спрашивают эксперты.
Generative AI questions start with the use case and its consequences.
- What is the tool being used for, and what happens if its output is wrong?
- How is the accuracy of output verified before it affects customers or decisions?
- What data is sent to the model, and could confidential information leak?
- How are prompts, versions and outputs logged for accountability?
- How dependent is the institution on a single provider, and what happens if the service changes or fails?
Механизмы и движущие факторы.
Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.
Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.
Как это изучается и где пределы методов.
| Метод или данные | Что он показывает | Ограничения |
|---|---|---|
| Use-case risk assessment | Consequences of failure by application | Informal uses may not be captured |
| Оценка на тестовых наборах | Accuracy and failure rates on known cases | Не может охватить все реальные входные данные |
| Red-teaming и состязательное тестирование | Vulnerability to manipulation | Finds some weaknesses, not all |
| Output monitoring and logging | Errors and incidents in use | Detecting subtle errors is hard |
Как это изучается и чего методы не могут сказать.
- 01Искусственный интеллект и машинное обучениеКредитные модели на основе градиентного бустинга · Языковые модели в операциях · Обнаружение аномалийПрименяется здесь
- 02Инженерная оценка ИИ и обеспечение уверенностиВалидация моделей машинного обучения · Тестирование генеративного ИИ «красной командой» · Оценка справедливостиПрименяется здесь
- 03Количественная оценка неопределённости и валидация моделейИнтервалы прогнозирования для моделей убытков · Ансамбли моделей · Капитал или буферы на модельный рискПрименяется здесь
- 04Теория вероятностей и статистикаТестирование калибровки · Статистика дрейфа · Сравнение результатов по группамПрименяется здесь
Вопросы и ответы.
Is a large language model a model under model risk rules?
Что такое инъекция промптов (prompt injection)?
What is grounding?
Why do language models produce false information?
Should generative AI make credit or claims decisions?
Does the platform evaluate specific AI products?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаКонтрольная точка GW-GRAОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Обратитесь в Альянс с вопросом о подверженности или капитале.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.