Skip to content

GRA · IA e Risco de Modelos Financeiros

Finanças espaciaisOnde o capital encontra ameaça, exposição e transição

Monitoramento de modelos e deriva

Um modelo validado no lançamento pode falhar mais tarde, à medida que clientes, produtos, mercados e fluxos de dados mudam. O monitoramento acompanha o desempenho, as distribuições de entrada e os resultados para detectar desvios e acionar a revisão. Modelos de aprendizado de máquina que são retreinados com frequência acrescentam riscos próprios. Esta página descreve como surge o desvio, como o monitoramento o detecta, as medidas utilizadas e quem decide quando um modelo deve mudar ou ser interrompido.

01Registrar

Monitoramento de modelos e deriva registrados.

02A pergunta

Model monitoring and drift: how the risk develops.

Changes over time and review thresholds. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mecanismo

Deriva de dados

A distribuição das entradas muda à medida que chegam novos segmentos de clientes, os produtos se alteram ou sistemas a montante modificam campos. O modelo se depara com dados para os quais não foi treinado.

Mecanismo

Deriva de conceito

A relação entre insumos e resultados muda, por exemplo, quando um choque econômico altera quem entra em inadimplência. A acurácia cai mesmo que os insumos pareçam estáveis.

Mecanismo

Os resultados chegam tarde

Inadimplências e sinistros surgem meses ou anos após as decisões, de modo que o desempenho real só é conhecido tardiamente. Indicadores substitutos e antecedentes preenchem a lacuna com incerteza.

Mecanismo

Retraining adds risk

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03Exposição, perda e capital

What model monitoring and drift means for exposure, loss and capital.

As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.

Canais de transmissão

How a shock in model monitoring and drift reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Cenários climáticos do NGFS · Network for Greening the Financial SystemIFRS S2 Divulgações Relacionadas ao Clima · ISSBRecomendações da TCFD · Financial Stability Board TCFDPrincípios para a gestão eficaz dos riscos financeiros relacionados ao clima · Comitê de Basileia de Supervisão Bancária
04Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Índice de estabilidade populacional por entradaadimensionalmensalMonitoramentoESTIMADO
Desempenho em relação à linha de base de validaçãomudança na discriminação ou na calibraçãomensal ou trimestralMonitoramentoESTIMADO
Alertas de monitoramento que ultrapassam limitescontagemmensalMonitoring recordsOBSERVADO
Modelos retreinados no períodocontagemtrimestralRegistros de modelosDECLARADO
Incidentes no pipeline de dados que afetam modeloscontagemtrimestralRegistros de incidentesREPORTADO
Time from alert to remediationdiaspor alertaRegistros de governançaOBSERVADO
05Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
Princípios da PRA SS1/23 sobre monitoramento de modelosExpectativas para o monitoramento contínuo do desempenhoGratuito, termos do Bank of England
SR 11-7 sobre monitoramento contínuo e análise de resultadosUnited States expectationsDomínio público
Diretrizes da EBA sobre concessão e monitoramento de empréstimosMonitoring of automated credit modelsGratuito, termos de reutilização da UE
Academic research on dataset shiftMétodos para detectar e se adaptar à derivaLeitura gratuita, termos conforme cada editora
Bank Pillar 3 model back-testing disclosuresBack-testing results for capital modelsRegistros públicos, termos por banco
06Decisões

Quem decide, e a que servem as evidências.

O AI and Financial risco de modelo Financeiro prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Responsáveis pelos modelosQuando recalibrar, redesenvolver ou aposentar um modeloMonitoring results against thresholds
Funções de risco de modelosQuais padrões de monitoramento se aplicam por nívelEvidências de políticas e de monitoramento
SupervisoresWhether monitoring is adequate for capital and conduct modelsResultados de testes retrospectivos e de revisão
Data ownersComo as mudanças a montante são controladasRegistros de incidentes em dutos

Produtos que este tema gera

  • Guia sobre deriva de dados e deriva de conceito
  • Method note on monitoring thresholds and alerts
  • Nota sobre controles para modelos retreinados com frequência
  • Questions for model owners on late-arriving outcomes
07Questões centrais

O que os especialistas perguntam.

Monitoring questions ask how soon a problem will be seen.

  • Quais medidas de desempenho são monitoradas e com que frequência?
  • Com que rapidez os desfechos, como inadimplências ou sinistros, são observados, e o que preenche a lacuna enquanto isso?
  • A distribuição dos dados de entrada mudou, e isso importa?
  • What thresholds trigger review, recalibration or withdrawal, and who set them?
  • How are continuously retrained models governed?
08Mecanismos

Mecanismos e fatores.

A deriva de dados ocorre quando a distribuição das entradas muda, por exemplo com um novo segmento de clientes ou uma alteração em uma fonte de dados. A deriva de conceito ocorre quando a relação entre entradas e resultados muda, por exemplo quando um choque econômico altera a forma como a renda prevê o pagamento. A deriva de conceito é mais perigosa e mais difícil de detectar, pois os resultados podem levar meses ou anos para serem observados.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09Métodos e dados

Como é estudado e onde param os métodos.

Método ou dadosO que mostraLimites
Performance tracking against outcomesAccuracy and calibration over timeOs resultados chegam com atraso
Distribution shift statisticsAlterações nos dados de entradaMudança nem sempre significa perda de desempenho
Modelos de referência e desafiantesRelative performanceChallengers share some data limitations
Estruturas de limiares e alertasQuando escalonarOs limiares envolvem julgamento
11Perguntas

Perguntas e respostas.

What is the difference between data drift and concept drift?
Data drift is a change in the distribution of inputs; concept drift is a change in how inputs relate to outcomes. Either can reduce model accuracy.
What is a population stability index?
Medida que compara a distribuição de uma variável ou pontuação entre dois períodos, usada para detectar mudanças na população avaliada por um modelo.
Os modelos devem ser retreinados automaticamente?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
Por que a deriva conceitual é difícil de detectar?
Because it involves changes in the relationship between inputs and outcomes, and outcomes such as defaults may only be known long after decisions are made.
Is automatic retraining a solution?
Pode ajudar, mas exige governança: modelos retreinados podem absorver erros, vieses ou condições temporárias, e ainda precisam ser testados e aprovados.
Does the platform monitor firms’ models?
Não. A GRA não monitora, valida nem aprova nenhum modelo.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
IA e Risco de Modelos Financeiros

Apresente à Alliance uma questão de exposição ou de capital.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.