Skip to content

GRA · Risco Atuarial e Quantitativo

Finanças espaciaisOnde o capital encontra ameaça, exposição e transição

Validação de modelos quantitativos

Modelos quantitativos de precificação, constituição de reservas, capital e risco devem ser demonstrados como adequados à finalidade antes de serem usados como base de decisão. A validação testa dados, métodos, premissas, implementação e resultados, e é realizada por pessoas independentes do desenvolvimento, conforme padrões profissionais e de supervisão. Esta página descreve como funciona a validação de modelos quantitativos, onde ela é insuficiente, as evidências que utiliza e quem decide.

01Registrar

Validação quantitativa de modelos com base no registro.

02A pergunta

Validação quantitativa de modelos: como o risco evolui.

Back-testing, benchmarking and challenger models. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mecanismo

Validation covers the whole model

qualidade dos dados, solidez conceitual, implementação, premissas e resultados precisam ser testados. Verificar apenas os resultados deixa passar erros que se compensam ou se escondem.

Mecanismo

O backtesting exige tempo

Comparar previsões com resultados leva anos no caso de riscos de cauda longa e raros, de modo que a validação se apoia em outros testes nesse intervalo.

Mecanismo

Independência e habilidade

Os validadores devem compreender os métodos e ter autoridade para exigir alterações. Independência fraca transforma a validação em confirmação.

Mecanismo

Code is part of the model

Erros em planilhas e em código causaram grandes perdas. Testes de implementação, controle de versões e reprodutibilidade fazem parte da validação.

03Finanças espaciais

Exposição, ameaça e a curva de excedência.

Quais locais geram as perdas em um ano severo e até onde elas chegam no resseguro. Valores de projeto ilustrativos.

Exposição costeira em zonas de ciclones e terremotos, ao lado da curva de perdas que ela produz.Valores de desenho ilustrativos, não um resultado de modelo nem um preço.
04Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Models validated in cycleparticipação por nívelanualRegistros de validaçãoDECLARADO
Resultados da validação por gravidadecontagemanualRegistros de validaçãoDECLARADO
Actual-to-expected resultsrazãoanualMonitoramento da experiênciaESTIMADO
Desvio do run-off de reservaspor centoanualDesenvolvimento das reservas estatutáriasEstatísticas publicadas
Erros de implementação encontradoscontagemanualValidation and audit recordsDECLARADO
Models with reproducible code and dataparticipaçãoperiódicoDocumentação do modeloDECLARADO
05Simulador de gêmeo e cascata

Trace a shock in quantitative model validation to the balance sheet.

Assembled from the Nexus Standards area profile Insurance and reinsurance: the shocks it names, the systems and sectors that carry the loss, the controls that dampen it and the data that observe it. Pick an initiating shock and step through the cascade to see which exposures it reaches and where losses could concentrate. The Map view places the run on an example geography with open data. Every weight is a stated assumption. An exercise, not a forecast, a valuation, a rating or investment advice. To model a place of your own choosing, open the full System Builder.

Ameaças

  • ciclones tropicais
  • Terremoto
  • Inundação por congestionamento de gelo
  • Incêndio florestal
  • Maré de tempestade (desencadeada a jusante)
  • Chuvas intensas (desencadeadas a jusante)
  • Inundação fluvial (desencadeada a jusante)
  • Flash flood (set off downstream)
  • Arrebentação perigosa (desencadeada a jusante)
  • Apagão generalizado (desencadeado a jusante)
  • Deslocamento em massa (desencadeado a jusante)
  • Inundação costeira (desencadeada a jusante)
  • Aftershock sequence (set off downstream)
  • Fault surface rupture (set off downstream)
  • Soil liquefaction (set off downstream)
  • Slope slide (set off downstream)
  • Rockfall (set off downstream)
  • Tsunami (set off downstream)

Controles

  • NS-0 Constituição e princípios
  • NS-3 UNIs de registros de risco (gramática, correspondência legada, autoridade de atribuição)
  • NS-9 UNIs contextuais (implantações, instâncias, instâncias de programa)
  • NS-10 Políticas e cláusulas (obrigações legíveis por máquina: definição, caráter vinculante, avaliação e aplicação)
  • NS-11 Verificação e monitoramento (evidências, atestações, observação da conformidade de confiança zero)
  • NS-14 Conformidade e correspondência com normas externas
  • NRS-F3 Seguros, risco de catástrofe e lacunas de proteção
  • NRS-H113 Família de ameaças: fragilidade do sistema financeiro (NHS-1 soc.financial-system)
  • NRS-U17Perfil de plataforma do Universe: Insurance Nexus
  • NRS-H71 Família de ameaças: catástrofes cósmicas e do tempo profundo (NHS-1 planet.deep-time)
  • NRS-H65 Família de ameaças: transgressão dos limites planetários (NHS-1 planet.boundary)
  • NRS-F8 Transferência de risco paramétrica e baseada em índices

Observação

  • OECD Data Explorer (incl. Creditor Reporting System, insurance and pension statistics) (listed for reference)
  • Insurance statistics (listed for reference)
  • USGS earthquake GeoJSON summary feeds (listed for reference)
  • Direct economic loss attributed to disasters in relation to global gross domestic product (GDP)
  • Direct economic loss attributed to disasters in relation to global gross domestic product
  • (a) Number of commercial bank branches per 100,000 adults and (b) number of automated teller machines (ATMs) per 100,000 adults

Geografia de exemplo

  • Europa Ocidental: 152 células hexagonais
  • Taxa de chuva, última meia hora (IMERG), NASA GIBS
  • Luzes noturnas desta noite, apagões (VIIRS Day/Night Band), NASA GIBS
  • Água superficial através das nuvens, 30 m (radar OPERA DSWx-S1), NASA GIBS
  • Carbon monoxide, smoke transport (AIRS), NASA GIBS
06Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
IAA ISAP on models (ISAP 1A)Norma de governança de modelos para atuáriosFree, IAA terms
ASOP do Actuarial Standards Board sobre modelagemNorma dos Estados Unidos para modelos atuariaisGratuito, termos do ASB
Normas Técnicas Atuariais do Financial Reporting CouncilUK standards including modelsGratuito, termos do FRC
Diretrizes da EIOPA sobre validação de modelos internosSupervisory expectationsGratuito, termos de reutilização da UE
Dados estatutários de desenvolvimento de perdasRun-off de reservas para retrotestePublic records, terms per supervisor
07Exposição, perda e capital

O que a validação quantitativa de modelos significa para exposição, perda e capital.

As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.

Exposição e perda por período de retorno

How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.

1 em 101 em 501 em 1001 em 250brutolíquido de resseguro800
Período de retornoProbabilidade anualPerda brutaPerda líquidaLíquido, capital = 100
1 em 100.10141010
1 em 500.02332121
1 em 1000.01462727
1 em 2500.004683939
Perda anual média3.12.22.2
Índice de perdas ilustrativo para uma carteira de exemplo (capital = 100): a forma de probabilidade de excedência que seguradoras e supervisores leem. Não são dados sobre nenhuma instituição, nem um preço ou uma classificação.
Cenários climáticos do NGFS · Network for Greening the Financial SystemIFRS S2 Divulgações Relacionadas ao Clima · ISSBRecomendações da TCFD · Financial Stability Board TCFDPrincípios para a gestão eficaz dos riscos financeiros relacionados ao clima · Comitê de Basileia de Supervisão Bancária
08Decisões

Quem decide, e a que servem as evidências.

Risco Atuarial e Quantitativo prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Validation functionsSe os modelos são adequados à finalidadeTest results and findings
Chief actuaries and model ownersQuais constatações corrigir e comoFindings and impact analysis
SupervisoresWhether validation meets standardsRelatórios de validação
Comitês de auditoriaWhether validation is independent and effectiveRegistros de governança

Produtos que este tema gera

  • Guide to validating actuarial and quantitative models
  • Method note on reserve back-testing
  • Brief on implementation risk and reproducibility
  • Questions for boards on validation independence
09Questões centrais

As questões que os especialistas levantam.

  • Is the model’s theory and design appropriate for its purpose?
  • Is it implemented correctly, and do results reproduce?
  • Como suas previsões se comparam com desfechos que não foram usados para construí-lo?
  • How do results compare with alternative models and external benchmarks?
  • Em quais condições o modelo falharia?
10Mecanismos

What validation examines.

Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.

O backtesting compara as previsões com os resultados realizados, por exemplo o número de vezes em que as perdas excederam uma estimativa de valor em risco. Para modelos de eventos raros, o backtesting tem pouco poder, porque os eventos de interesse raramente ocorrem. O benchmarking compara os resultados com modelos alternativos, estudos do setor ou dados externos. Modelos desafiantes, construídos com premissas ou métodos diferentes, revelam o quanto os resultados dependem das escolhas de modelagem.

Sensitivity analysis and stress testing explore how outputs change with inputs and assumptions, identifying the drivers that matter most. Reproducibility, the ability to re-run a model and obtain the same result from the same inputs, is a basic requirement that versioned code and data make possible.

Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.

11Métodos e dados

Métodos e seus limites.

Back-testing

Análise de resultados

Comparação das previsões com os resultados efetivos; fraca para eventos raros.

Comparação de desempenho

Challenger models

Comparing with alternatives to reveal model dependence.

Sensibilidade

Análise de sensibilidade

Identificação de fatores determinantes e condições de falha.

Limites: a validação pode mostrar que um modelo não está obviamente errado, mas não pode provar que está certo, especialmente para eventos raros e condições em mudança.

13Perguntas

Perguntas e respostas.

What does validation check?
Data, conceptual soundness, assumptions, implementation and outcomes, to judge whether a model is fit for its intended use.
O que é o backtesting de reservas?
Comparing past reserve estimates with how claims actually developed, to measure reserving accuracy and bias.
Why does code matter for validation?
Because implementation errors in spreadsheets and code can give wrong results even when the method is sound.
A GRA valida modelos?
Não. A GRA não valida, aprova nem certifica nenhum modelo. Publica pesquisas sobre métodos de validação.
Um modelo validado ainda pode falhar?
Yes. Validation reduces the chance of undetected errors but cannot rule out failure under conditions not seen before.
Por que os modelos desafiantes são úteis?
Porque mostram o quanto os resultados dependem de escolhas de modelagem, o que um único modelo não consegue revelar.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

Global Risks AllianceActuarial and Quantitative RiskMethods and TechnicalFinance and Insurance Readiness
Risco Atuarial e Quantitativo

Apresente à Alliance uma questão de exposição ou de capital.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.