Skip to content

GRA · Риски ИИ и финансовых моделей

Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом

Генеративный ИИ в финансах

Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.

01Полотно

Как ведётся работа.

Системы · по этой темеИллюстративно

Жизненный цикл риска моделей

Generative AI in finance · Model inventory · Committee 7

3 validations overdueGRA · AI and Financial Model Risk

Жизненный цикл

  1. Инвентаризациязарегистрировано
  2. Разработказадокументировано
  3. Проверитьнезависимый
  4. Утверждениекомитет
  5. Внедритьсредства контроля
  6. Мониторингпороговые значения
  7. Рецензированиеежегодно
  8. Вывести из эксплуатациивывод из эксплуатации

Модели

MD-264 PD retailУровень 112 месяцев2Просрочено
MD-251 LLM complaints triageУровень 1никогда0Не валидировано
MD-297 IFRS 9 stagingУровень 15 months2Утверждено
MD-784 склонность к маркетинговому откликуУровень 36 месяцев1Утверждено

Охват валидации

Концептуальная обоснованность
В работе
Анализ результатов
Ожидается
Сравнительный анализ
Ожидается
Ограничения использования
требуется проверка человеком
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Рис.Жизненный цикл модельного риска: примеры названий и иллюстративные значения, а не запись и не действующая система.

02Вопрос

Generative AI in finance: how the risk develops.

Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Складно, но неверно

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

Механизм

Inputs can be weaponised

Prompt injection through documents, emails or web pages can make a model ignore instructions, reveal data or take unintended actions, especially when it is connected to tools.

Механизм

Data leaks across boundaries

Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.

Механизм

Behaviour changes with versions

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03Подверженность, убытки и капитал

What Generative AI in finance means for exposure, loss and capital.

Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.

Каналы передачи

How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Климатические сценарии NGFS · Сеть по экологизации финансовой системыIFRS S2 «Раскрытие информации, связанной с климатом» · ISSBРекомендации TCFD · Совет по финансовой стабильности, TCFDПринципы эффективного управления климатическими финансовыми рисками · Базельский комитет по банковскому надзору
04Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Generative AI use cases in productioncount by risk tierежеквартальноUse case registerЗАДЕКЛАРИРОВАНО
Factual error rate on evaluation setsshare of responsesза оценкуInternal evaluationОЦЕНЕНО
Prompt injection test failurescount per test cycleна тестRed-team resultsНАБЛЮДАЕМО
Data loss prevention events involving AI toolsколичествоежемесячноSecurity monitoringНАБЛЮДАЕМО
Customer complaints linked to AI-generated contentколичествоежеквартальноДанные о жалобахСООБЩЕНО
Model version changes by providersколичествов годVendor noticesСООБЩЕНО
05Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
Доклад Совета по финансовой стабильности (FSB) о последствиях искусственного интеллекта для финансовой стабильностиVulnerabilities from AI adoption in financeБесплатно, условия FSB
IOSCO report on AI use cases, risks and challengesAI use in capital marketsБесплатно, условия IOSCO
NIST AI RMF generative AI profileRisks and actions specific to generative AIОбщественное достояние
OWASP Top 10 for large language model applicationsТипичные риски безопасности в приложениях на основе LLMFree, CC BY-SA
Bank of England and FCA AI surveysAdoption and governance of AI in UK financeБесплатно, условия Банка Англии и FCA
06Решения

Кто принимает решения и чему служит доказательная база.

«Риски ИИ и финансовых моделей » готовит доказательную базу. Перечисленные ниже решения принимаются указанными органами по их собственным правилам, но не платформой.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Советы директоров и исполнительные комитетыWhere generative AI may be used and with what controlsУровни риска сценариев использования и результаты оценки
Model risk and security functionsКак проверяется и защищается генеративный ИИEvaluation, red-team and monitoring evidence
Conduct supervisorsWhether customer-facing AI meets conduct and disclosure dutiesComplaints and outcome evidence
Procurement and legal teamsWhich providers and data terms are acceptableУсловия договора и доказательства обработки данных

Результаты, которые даёт эта тема

  • Руководство по режимам отказа генеративного ИИ в финансовых услугах
  • Method note on evaluating factual accuracy and grounding
  • Brief on prompt injection and tool-connected assistants
  • Вопросы для советов директоров о сценариях использования генеративного ИИ
07Ключевые вопросы

Что спрашивают эксперты.

Generative AI questions start with the use case and its consequences.

  • What is the tool being used for, and what happens if its output is wrong?
  • How is the accuracy of output verified before it affects customers or decisions?
  • What data is sent to the model, and could confidential information leak?
  • How are prompts, versions and outputs logged for accountability?
  • How dependent is the institution on a single provider, and what happens if the service changes or fails?
08Механизмы

Механизмы и движущие факторы.

Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.

Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.

09Методы и данные

Как это изучается и где пределы методов.

Метод или данныеЧто он показываетОграничения
Use-case risk assessmentConsequences of failure by applicationInformal uses may not be captured
Оценка на тестовых наборахAccuracy and failure rates on known casesНе может охватить все реальные входные данные
Red-teaming и состязательное тестированиеVulnerability to manipulationFinds some weaknesses, not all
Output monitoring and loggingErrors and incidents in useDetecting subtle errors is hard
10Методы

Как это изучается и чего методы не могут сказать.

  1. Искусственный интеллект и машинное обучениеКредитные модели на основе градиентного бустинга · Языковые модели в операциях · Обнаружение аномалийПрименяется здесь
  2. Инженерная оценка ИИ и обеспечение уверенностиВалидация моделей машинного обучения · Тестирование генеративного ИИ «красной командой» · Оценка справедливостиПрименяется здесь
  3. Количественная оценка неопределённости и валидация моделейИнтервалы прогнозирования для моделей убытков · Ансамбли моделей · Капитал или буферы на модельный рискПрименяется здесь
  4. Теория вероятностей и статистикаТестирование калибровки · Статистика дрейфа · Сравнение результатов по группамПрименяется здесь
11Вопросы

Вопросы и ответы.

Is a large language model a model under model risk rules?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
Что такое инъекция промптов (prompt injection)?
An attack in which instructions hidden in inputs, such as a document or web page, cause a language model to ignore its intended instructions or take unintended actions.
What is grounding?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Why do language models produce false information?
Because they generate statistically likely text rather than retrieving verified facts. Without grounding and checks, they can produce plausible but incorrect output.
Should generative AI make credit or claims decisions?
That is for institutions and regulators to decide. Where the consequences for people are significant, strong human oversight and testing are widely expected.
Does the platform evaluate specific AI products?
No. GRA does not evaluate, rate or endorse products or vendors.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Риски ИИ и финансовых моделей

Обратитесь в Альянс с вопросом о подверженности или капитале.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.