GRA · IA e Risco de Modelos Financeiros
Finanças espaciaisOnde o capital encontra ameaça, exposição e transição
Monitoramento de modelos e deriva
Um modelo validado no lançamento pode falhar mais tarde, à medida que clientes, produtos, mercados e fluxos de dados mudam. O monitoramento acompanha o desempenho, as distribuições de entrada e os resultados para detectar desvios e acionar a revisão. Modelos de aprendizado de máquina que são retreinados com frequência acrescentam riscos próprios. Esta página descreve como surge o desvio, como o monitoramento o detecta, as medidas utilizadas e quem decide quando um modelo deve mudar ou ser interrompido.
Monitoramento de modelos e deriva registrados.
Model monitoring and drift: how the risk develops.
Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Deriva de dados
A distribuição das entradas muda à medida que chegam novos segmentos de clientes, os produtos se alteram ou sistemas a montante modificam campos. O modelo se depara com dados para os quais não foi treinado.
Deriva de conceito
A relação entre insumos e resultados muda, por exemplo, quando um choque econômico altera quem entra em inadimplência. A acurácia cai mesmo que os insumos pareçam estáveis.
Os resultados chegam tarde
Inadimplências e sinistros surgem meses ou anos após as decisões, de modo que o desempenho real só é conhecido tardiamente. Indicadores substitutos e antecedentes preenchem a lacuna com incerteza.
Retraining adds risk
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
What model monitoring and drift means for exposure, loss and capital.
As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.
Canais de transmissão
How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Índice de estabilidade populacional por entrada | adimensional | mensal | Monitoramento | ESTIMADO |
| Desempenho em relação à linha de base de validação | mudança na discriminação ou na calibração | mensal ou trimestral | Monitoramento | ESTIMADO |
| Alertas de monitoramento que ultrapassam limites | contagem | mensal | Monitoring records | OBSERVADO |
| Modelos retreinados no período | contagem | trimestral | Registros de modelos | DECLARADO |
| Incidentes no pipeline de dados que afetam modelos | contagem | trimestral | Registros de incidentes | REPORTADO |
| Time from alert to remediation | dias | por alerta | Registros de governança | OBSERVADO |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Princípios da PRA SS1/23 sobre monitoramento de modelos | Expectativas para o monitoramento contínuo do desempenho | Gratuito, termos do Bank of England |
| SR 11-7 sobre monitoramento contínuo e análise de resultados | United States expectations | Domínio público |
| Diretrizes da EBA sobre concessão e monitoramento de empréstimos | Monitoring of automated credit models | Gratuito, termos de reutilização da UE |
| Academic research on dataset shift | Métodos para detectar e se adaptar à deriva | Leitura gratuita, termos conforme cada editora |
| Bank Pillar 3 model back-testing disclosures | Back-testing results for capital models | Registros públicos, termos por banco |
Quem decide, e a que servem as evidências.
O AI and Financial risco de modelo Financeiro prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Responsáveis pelos modelos | Quando recalibrar, redesenvolver ou aposentar um modelo | Monitoring results against thresholds |
| Funções de risco de modelos | Quais padrões de monitoramento se aplicam por nível | Evidências de políticas e de monitoramento |
| Supervisores | Whether monitoring is adequate for capital and conduct models | Resultados de testes retrospectivos e de revisão |
| Data owners | Como as mudanças a montante são controladas | Registros de incidentes em dutos |
Produtos que este tema gera
- Guia sobre deriva de dados e deriva de conceito
- Method note on monitoring thresholds and alerts
- Nota sobre controles para modelos retreinados com frequência
- Questions for model owners on late-arriving outcomes
O que os especialistas perguntam.
Monitoring questions ask how soon a problem will be seen.
- Quais medidas de desempenho são monitoradas e com que frequência?
- Com que rapidez os desfechos, como inadimplências ou sinistros, são observados, e o que preenche a lacuna enquanto isso?
- A distribuição dos dados de entrada mudou, e isso importa?
- What thresholds trigger review, recalibration or withdrawal, and who set them?
- How are continuously retrained models governed?
Mecanismos e fatores.
A deriva de dados ocorre quando a distribuição das entradas muda, por exemplo com um novo segmento de clientes ou uma alteração em uma fonte de dados. A deriva de conceito ocorre quando a relação entre entradas e resultados muda, por exemplo quando um choque econômico altera a forma como a renda prevê o pagamento. A deriva de conceito é mais perigosa e mais difícil de detectar, pois os resultados podem levar meses ou anos para serem observados.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Como é estudado e onde param os métodos.
| Método ou dados | O que mostra | Limites |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | Os resultados chegam com atraso |
| Distribution shift statistics | Alterações nos dados de entrada | Mudança nem sempre significa perda de desempenho |
| Modelos de referência e desafiantes | Relative performance | Challengers share some data limitations |
| Estruturas de limiares e alertas | Quando escalonar | Os limiares envolvem julgamento |
Como é estudado e o que os métodos não podem dizer.
- 01Probabilidade e estatísticaTestes de calibração · Estatísticas de deriva · Comparação de resultados entre gruposAplicado aqui
- 02Quantificação da incerteza e validação de modelosIntervalos de previsão para modelos de perdas · Conjuntos de modelos · Capital ou colchões para o risco de modeloAplicado aqui
- 03Inteligência artificial e aprendizado de máquinaModelos de crédito com gradient boosting · Modelos de linguagem nas operações · Detecção de anomaliasAplicado aqui
- 04Engenharia de avaliação e garantia de IAValidação de modelos de aprendizado de máquina · Red teaming da IA generativa · Avaliação da equidadeAplicado aqui
Perguntas e respostas.
What is the difference between data drift and concept drift?
What is a population stability index?
Os modelos devem ser retreinados automaticamente?
Por que a deriva conceitual é difícil de detectar?
Is automatic retraining a solution?
Does the platform monitor firms’ models?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GRAEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Apresente à Alliance uma questão de exposição ou de capital.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.