GRA · IA e Risco de Modelos Financeiros
Finanças espaciaisOnde o capital encontra ameaça, exposição e transição
IA generativa em finanças
Financial firms use large language models to draft documents, answer customers, summarise research, write code and support analysts. Generative AI produces fluent output that can be wrong, can leak data and can be manipulated through its inputs. This page sets out how generative AI risks arise in financial services, how they are measured and controlled, and who decides where it may be used.
Como decorre o trabalho.
Ciclo de vida do risco de modelo
IA generativa em finanças · Inventário de modelos · Comitê 7
Ciclo de vida
- Inventárioregistrado
- Desenvolverdocumentado
- Validarindependente
- Aprovarcomitê
- Implementarcontroles
- Monitoramentolimiares
- Análiseanual
- Desativardesativação
Modelos
| MD-264 PD retail | Nível 1 | 12 meses | 2 | Em atraso |
| MD-251 LLM complaints triage | Nível 1 | nunca | 0 | Não validado |
| MD-297 classificação em estágios da IFRS 9 | Nível 1 | 5 months | 2 | Aprovado |
| MD-784 propensão de marketing | Nível 3 | 6 meses | 1 | Aprovado |
Escopo da validação
- Solidez conceitual
- Em andamento
- Análise de resultados
- Pendente
- Comparação de desempenho
- Pendente
- Limites de uso
- revisão humana obrigatória
Fig.Model risk lifecycle: example names and illustrative values, not a record or a live system.
Generative AI in finance: how the risk develops.
Casos de uso e controles de falhas. O dossiê abaixo apresenta como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.
Fluent but wrong
Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.
Os insumos podem ser instrumentalizados
A injeção de prompt por meio de documentos, e-mails ou páginas da web pode levar um modelo a ignorar instruções, revelar dados ou executar ações não intencionais, especialmente quando ele está conectado a ferramentas.
Data leaks across boundaries
Informações confidenciais inseridas em serviços externos ou recuperadas em respostas podem chegar a pessoas sem direito de acesso a elas. Os termos de tratamento de dados e os controles de acesso determinam a exposição.
O comportamento muda com as versões
Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.
What Generative AI in finance means for exposure, loss and capital.
As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.
Canais de transmissão
How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Casos de uso de IA generativa em produção | contagem por nível de risco | trimestral | Use case register | DECLARADO |
| Factual error rate on evaluation sets | proporção das respostas | por avaliação | Internal evaluation | ESTIMADO |
| Prompt injection test failures | count per test cycle | por teste | Resultados do red team | OBSERVADO |
| Data loss prevention events involving AI tools | contagem | mensal | Security monitoring | OBSERVADO |
| Reclamações de clientes ligadas a conteúdo gerado por IA | contagem | trimestral | Dados de reclamações | REPORTADO |
| Model version changes by providers | contagem | por ano | Avisos de fornecedores | REPORTADO |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Relatório do FSB sobre as implicações da IA para a estabilidade financeira | Vulnerabilidades decorrentes da adoção de IA nas finanças | Gratuito, termos do FSB |
| IOSCO report on AI use cases, risks and challenges | AI use in capital markets | Gratuito, termos da IOSCO |
| Perfil de IA generativa do NIST AI RMF | Riscos e ações específicos da IA generativa | Domínio público |
| OWASP Top 10 para aplicações de grandes modelos de linguagem | Riscos de segurança comuns em aplicações de LLM | Gratuito, CC BY-SA |
| Pesquisas sobre IA do Bank of England e da FCA | Adoption and governance of AI in UK finance | Gratuito, termos do Bank of England e da FCA |
Quem decide, e a que servem as evidências.
O AI and Financial risco de modelo Financeiro prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Conselhos e comitês executivos | Onde a IA generativa pode ser usada e com quais controles | Níveis de risco dos casos de uso e resultados de avaliação |
| Funções de risco de modelos e de segurança | Como a IA generativa é validada e protegida | Evidências de avaliação, red team e monitoramento |
| Conduct supervisors | Whether customer-facing AI meets conduct and disclosure duties | Complaints and outcome evidence |
| Equipes de compras e jurídicas | Which providers and data terms are acceptable | Contract terms and data handling evidence |
Produtos que este tema gera
- Guide to generative AI failure modes in financial services
- Method note on evaluating factual accuracy and grounding
- Brief on prompt injection and tool-connected assistants
- Perguntas para conselhos de administração sobre casos de uso de IA generativa
O que os especialistas perguntam.
As questões sobre IA generativa começam pelo caso de uso e suas consequências.
- What is the tool being used for, and what happens if its output is wrong?
- How is the accuracy of output verified before it affects customers or decisions?
- What data is sent to the model, and could confidential information leak?
- Como prompts, versões e saídas são registrados para fins de prestação de contas?
- Qual é o grau de dependência da instituição em relação a um único provedor, e o que acontece se o serviço mudar ou falhar?
Mecanismos e fatores.
Os grandes modelos de linguagem geram texto prevendo continuações prováveis. Podem produzir resultados fluentes e plausíveis, porém falsos, o que importa muito onde a exatidão é exigida. Seu comportamento pode mudar quando os provedores atualizam os modelos, e eles podem ser manipulados por entradas elaboradas com esse fim. Seus resultados são difíceis de testar de forma exaustiva, pois o espaço de entradas possíveis é vasto.
Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.
Como é estudado e onde param os métodos.
| Método ou dados | O que mostra | Limites |
|---|---|---|
| Use-case risk assessment | Consequências da falha por aplicação | Informal uses may not be captured |
| Avaliação em conjuntos de teste | Accuracy and failure rates on known cases | Não consegue abranger todos os insumos reais |
| Red teaming e testes adversariais | Vulnerabilidade à manipulação | Finds some weaknesses, not all |
| Output monitoring and logging | Errors and incidents in use | Detecting subtle errors is hard |
Como é estudado e o que os métodos não podem dizer.
- 01Inteligência artificial e aprendizado de máquinaModelos de crédito com gradient boosting · Modelos de linguagem nas operações · Detecção de anomaliasAplicado aqui
- 02Engenharia de avaliação e garantia de IAValidação de modelos de aprendizado de máquina · Red teaming da IA generativa · Avaliação da equidadeAplicado aqui
- 03Quantificação da incerteza e validação de modelosIntervalos de previsão para modelos de perdas · Conjuntos de modelos · Capital ou colchões para o risco de modeloAplicado aqui
- 04Probabilidade e estatísticaTestes de calibração · Estatísticas de deriva · Comparação de resultados entre gruposAplicado aqui
Perguntas e respostas.
Is a large language model a model under model risk rules?
O que é injeção de prompt?
What is grounding?
Why do language models produce false information?
Should generative AI make credit or claims decisions?
A plataforma avalia produtos de IA específicos?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GRAEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Apresente à Alliance uma questão de exposição ou de capital.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.