Skip to content

GRA · IA e Risco de Modelos Financeiros

Finanças espaciaisOnde o capital encontra ameaça, exposição e transição

IA generativa em finanças

Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.

01Canvas

Como decorre o trabalho.

Sistemas · em torno deste temaIlustrativo

Ciclo de vida do risco de modelo

IA generativa em finanças · Inventário de modelos · Comitê 7

3 validações em atrasoGRA · IA e Risco de Modelos Financeiros

Ciclo de vida

  1. Inventárioregistrado
  2. Desenvolverdocumentado
  3. Validarindependente
  4. Aprovarcomitê
  5. Implementarcontroles
  6. Monitoramentolimiares
  7. Análiseanual
  8. Desativardesativação

Modelos

MD-264 PD retailNível 112 meses2Em atraso
MD-251 LLM complaints triageNível 1nunca0Não validado
MD-297 classificação em estágios da IFRS 9Nível 15 months2Aprovado
MD-784 propensão de marketingNível 36 meses1Aprovado

Escopo da validação

Solidez conceitual
Em andamento
Análise de resultados
Pendente
Comparação de desempenho
Pendente
Limites de uso
revisão humana obrigatória
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.

02A pergunta

Generative AI in finance: how the risk develops.

Casos de uso e controles de falhas. O dossiê abaixo apresenta como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.

Mecanismo

Fluent but wrong

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

Mecanismo

Os insumos podem ser instrumentalizados

A injeção de prompt por meio de documentos, e-mails ou páginas da web pode levar um modelo a ignorar instruções, revelar dados ou executar ações não intencionais, especialmente quando ele está conectado a ferramentas.

Mecanismo

Data leaks across boundaries

Informações confidenciais inseridas em serviços externos ou recuperadas em respostas podem chegar a pessoas sem direito de acesso a elas. Os termos de tratamento de dados e os controles de acesso determinam a exposição.

Mecanismo

O comportamento muda com as versões

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03Exposição, perda e capital

What Generative AI in finance means for exposure, loss and capital.

As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.

Canais de transmissão

How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Cenários climáticos do NGFS · Network for Greening the Financial SystemIFRS S2 Divulgações Relacionadas ao Clima · ISSBRecomendações da TCFD · Financial Stability Board TCFDPrincípios para a gestão eficaz dos riscos financeiros relacionados ao clima · Comitê de Basileia de Supervisão Bancária
04Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Casos de uso de IA generativa em produçãocontagem por nível de riscotrimestralUse case registerDECLARADO
Factual error rate on evaluation setsproporção das respostaspor avaliaçãoInternal evaluationESTIMADO
Prompt injection test failurescount per test cyclepor testeResultados do red teamOBSERVADO
Data loss prevention events involving AI toolscontagemmensalSecurity monitoringOBSERVADO
Reclamações de clientes ligadas a conteúdo gerado por IAcontagemtrimestralDados de reclamaçõesREPORTADO
Model version changes by providerscontagempor anoAvisos de fornecedoresREPORTADO
05Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
Relatório do FSB sobre as implicações da IA para a estabilidade financeiraVulnerabilidades decorrentes da adoção de IA nas finançasGratuito, termos do FSB
IOSCO report on AI use cases, risks and challengesAI use in capital marketsGratuito, termos da IOSCO
Perfil de IA generativa do NIST AI RMFRiscos e ações específicos da IA generativaDomínio público
OWASP Top 10 para aplicações de grandes modelos de linguagemRiscos de segurança comuns em aplicações de LLMGratuito, CC BY-SA
Pesquisas sobre IA do Bank of England e da FCAAdoption and governance of AI in UK financeGratuito, termos do Bank of England e da FCA
06Decisões

Quem decide, e a que servem as evidências.

O AI and Financial risco de modelo Financeiro prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Conselhos e comitês executivosOnde a IA generativa pode ser usada e com quais controlesNíveis de risco dos casos de uso e resultados de avaliação
Funções de risco de modelos e de segurançaComo a IA generativa é validada e protegidaEvidências de avaliação, red team e monitoramento
Conduct supervisorsWhether customer-facing AI meets conduct and disclosure dutiesComplaints and outcome evidence
Equipes de compras e jurídicasWhich providers and data terms are acceptableContract terms and data handling evidence

Produtos que este tema gera

  • Guide to generative AI failure modes in financial services
  • Method note on evaluating factual accuracy and grounding
  • Brief on prompt injection and tool-connected assistants
  • Perguntas para conselhos de administração sobre casos de uso de IA generativa
07Questões centrais

O que os especialistas perguntam.

As questões sobre IA generativa começam pelo caso de uso e suas consequências.

  • What is the tool being used for, and what happens if its output is wrong?
  • How is the accuracy of output verified before it affects customers or decisions?
  • What data is sent to the model, and could confidential information leak?
  • Como prompts, versões e saídas são registrados para fins de prestação de contas?
  • Qual é o grau de dependência da instituição em relação a um único provedor, e o que acontece se o serviço mudar ou falhar?
08Mecanismos

Mecanismos e fatores.

Os grandes modelos de linguagem geram texto prevendo continuações prováveis. Podem produzir resultados fluentes e plausíveis, porém falsos, o que importa muito onde a exatidão é exigida. Seu comportamento pode mudar quando os provedores atualizam os modelos, e eles podem ser manipulados por entradas elaboradas com esse fim. Seus resultados são difíceis de testar de forma exaustiva, pois o espaço de entradas possíveis é vasto.

Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.

09Métodos e dados

Como é estudado e onde param os métodos.

Método ou dadosO que mostraLimites
Use-case risk assessmentConsequências da falha por aplicaçãoInformal uses may not be captured
Avaliação em conjuntos de testeAccuracy and failure rates on known casesNão consegue abranger todos os insumos reais
Red teaming e testes adversariaisVulnerabilidade à manipulaçãoFinds some weaknesses, not all
Output monitoring and loggingErrors and incidents in useDetecting subtle errors is hard
10Métodos

Como é estudado e o que os métodos não podem dizer.

11Perguntas

Perguntas e respostas.

Is a large language model a model under model risk rules?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
O que é injeção de prompt?
Um ataque em que instruções ocultas em entradas, como um documento ou uma página da web, fazem um modelo de linguagem ignorar suas instruções originais ou executar ações não pretendidas.
What is grounding?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Why do language models produce false information?
Porque geram texto estatisticamente provável em vez de recuperar fatos verificados. Sem ancoragem e verificações, podem produzir resultados plausíveis, mas incorretos.
Should generative AI make credit or claims decisions?
That is for institutions and regulators to decide. Where the consequences for people are significant, strong human oversight and testing are widely expected.
A plataforma avalia produtos de IA específicos?
Não. A GRA não avalia, classifica nem endossa produtos ou fornecedores.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
IA e Risco de Modelos Financeiros

Apresente à Alliance uma questão de exposição ou de capital.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.