GRA · Risco Atuarial e Quantitativo
Finanças espaciaisOnde o capital encontra ameaça, exposição e transição
Validação de modelos quantitativos
Modelos quantitativos de precificação, constituição de reservas, capital e risco devem ser demonstrados como adequados à finalidade antes de serem usados como base de decisão. A validação testa dados, métodos, premissas, implementação e resultados, e é realizada por pessoas independentes do desenvolvimento, conforme padrões profissionais e de supervisão. Esta página descreve como funciona a validação de modelos quantitativos, onde ela é insuficiente, as evidências que utiliza e quem decide.
Validação quantitativa de modelos com base no registro.
Validação quantitativa de modelos: como o risco evolui.
Back-testing, benchmarking and challenger models. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Validation covers the whole model
qualidade dos dados, solidez conceitual, implementação, premissas e resultados precisam ser testados. Verificar apenas os resultados deixa passar erros que se compensam ou se escondem.
O backtesting exige tempo
Comparar previsões com resultados leva anos no caso de riscos de cauda longa e raros, de modo que a validação se apoia em outros testes nesse intervalo.
Independência e habilidade
Os validadores devem compreender os métodos e ter autoridade para exigir alterações. Independência fraca transforma a validação em confirmação.
Code is part of the model
Erros em planilhas e em código causaram grandes perdas. Testes de implementação, controle de versões e reprodutibilidade fazem parte da validação.
Exposição, ameaça e a curva de excedência.
Quais locais geram as perdas em um ano severo e até onde elas chegam no resseguro. Valores de projeto ilustrativos.
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Models validated in cycle | participação por nível | anual | Registros de validação | DECLARADO |
| Resultados da validação por gravidade | contagem | anual | Registros de validação | DECLARADO |
| Actual-to-expected results | razão | anual | Monitoramento da experiência | ESTIMADO |
| Desvio do run-off de reservas | por cento | anual | Desenvolvimento das reservas estatutárias | Estatísticas publicadas |
| Erros de implementação encontrados | contagem | anual | Validation and audit records | DECLARADO |
| Models with reproducible code and data | participação | periódico | Documentação do modelo | DECLARADO |
Trace a shock in quantitative model validation to the balance sheet.
Assembled from the Nexus Standards area profile Insurance and reinsurance: the shocks it names, the systems and sectors that carry the loss, the controls that dampen it and the data that observe it. Pick an initiating shock and step through the cascade to see which exposures it reaches and where losses could concentrate. The Map view places the run on an example geography with open data. Every weight is a stated assumption. An exercise, not a forecast, a valuation, a rating or investment advice. To model a place of your own choosing, open the full System Builder.
Ameaças
- ciclones tropicais
- Terremoto
- Inundação por congestionamento de gelo
- Incêndio florestal
- Maré de tempestade (desencadeada a jusante)
- Chuvas intensas (desencadeadas a jusante)
- Inundação fluvial (desencadeada a jusante)
- Flash flood (set off downstream)
- Arrebentação perigosa (desencadeada a jusante)
- Apagão generalizado (desencadeado a jusante)
- Deslocamento em massa (desencadeado a jusante)
- Inundação costeira (desencadeada a jusante)
- Aftershock sequence (set off downstream)
- Fault surface rupture (set off downstream)
- Soil liquefaction (set off downstream)
- Slope slide (set off downstream)
- Rockfall (set off downstream)
- Tsunami (set off downstream)
Sistemas e acoplamentos
- Seguros e resseguros
- Bancos Acoplamento
- Instituições de financiamento do desenvolvimento Acoplamento
- Humanitário e sociedade civil Acoplamento
- Agricultura e uso da terra Acoplamento
Controles
NS-0Constituição e princípiosNS-3UNIs de registros de risco (gramática, correspondência legada, autoridade de atribuição)NS-9UNIs contextuais (implantações, instâncias, instâncias de programa)NS-10Políticas e cláusulas (obrigações legíveis por máquina: definição, caráter vinculante, avaliação e aplicação)NS-11Verificação e monitoramento (evidências, atestações, observação da conformidade de confiança zero)NS-14Conformidade e correspondência com normas externasNRS-F3Seguros, risco de catástrofe e lacunas de proteçãoNRS-H113Família de ameaças: fragilidade do sistema financeiro (NHS-1 soc.financial-system)NRS-U17Perfil de plataforma do Universe: Insurance NexusNRS-H71Família de ameaças: catástrofes cósmicas e do tempo profundo (NHS-1 planet.deep-time)NRS-H65Família de ameaças: transgressão dos limites planetários (NHS-1 planet.boundary)NRS-F8Transferência de risco paramétrica e baseada em índices
Observação
- OECD Data Explorer (incl. Creditor Reporting System, insurance and pension statistics) (listed for reference)
- Insurance statistics (listed for reference)
- USGS earthquake GeoJSON summary feeds (listed for reference)
- Direct economic loss attributed to disasters in relation to global gross domestic product (GDP)
- Direct economic loss attributed to disasters in relation to global gross domestic product
- (a) Number of commercial bank branches per 100,000 adults and (b) number of automated teller machines (ATMs) per 100,000 adults
Geografia de exemplo
- Europa Ocidental: 152 células hexagonais
- Taxa de chuva, última meia hora (IMERG), NASA GIBS
- Luzes noturnas desta noite, apagões (VIIRS Day/Night Band), NASA GIBS
- Água superficial através das nuvens, 30 m (radar OPERA DSWx-S1), NASA GIBS
- Carbon monoxide, smoke transport (AIRS), NASA GIBS
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| IAA ISAP on models (ISAP 1A) | Norma de governança de modelos para atuários | Free, IAA terms |
| ASOP do Actuarial Standards Board sobre modelagem | Norma dos Estados Unidos para modelos atuariais | Gratuito, termos do ASB |
| Normas Técnicas Atuariais do Financial Reporting Council | UK standards including models | Gratuito, termos do FRC |
| Diretrizes da EIOPA sobre validação de modelos internos | Supervisory expectations | Gratuito, termos de reutilização da UE |
| Dados estatutários de desenvolvimento de perdas | Run-off de reservas para retroteste | Public records, terms per supervisor |
O que a validação quantitativa de modelos significa para exposição, perda e capital.
As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.
Exposição e perda por período de retorno
How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.
| Período de retorno | Probabilidade anual | Perda bruta | Perda líquida | Líquido, capital = 100 |
|---|---|---|---|---|
| 1 em 10 | 0.10 | 14 | 10 | 10 |
| 1 em 50 | 0.02 | 33 | 21 | 21 |
| 1 em 100 | 0.01 | 46 | 27 | 27 |
| 1 em 250 | 0.004 | 68 | 39 | 39 |
| Perda anual média | 3.1 | 2.2 | 2.2 |
Quem decide, e a que servem as evidências.
Risco Atuarial e Quantitativo prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Validation functions | Se os modelos são adequados à finalidade | Test results and findings |
| Chief actuaries and model owners | Quais constatações corrigir e como | Findings and impact analysis |
| Supervisores | Whether validation meets standards | Relatórios de validação |
| Comitês de auditoria | Whether validation is independent and effective | Registros de governança |
Produtos que este tema gera
- Guide to validating actuarial and quantitative models
- Method note on reserve back-testing
- Brief on implementation risk and reproducibility
- Questions for boards on validation independence
As questões que os especialistas levantam.
- Is the model’s theory and design appropriate for its purpose?
- Is it implemented correctly, and do results reproduce?
- Como suas previsões se comparam com desfechos que não foram usados para construí-lo?
- How do results compare with alternative models and external benchmarks?
- Em quais condições o modelo falharia?
What validation examines.
Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.
O backtesting compara as previsões com os resultados realizados, por exemplo o número de vezes em que as perdas excederam uma estimativa de valor em risco. Para modelos de eventos raros, o backtesting tem pouco poder, porque os eventos de interesse raramente ocorrem. O benchmarking compara os resultados com modelos alternativos, estudos do setor ou dados externos. Modelos desafiantes, construídos com premissas ou métodos diferentes, revelam o quanto os resultados dependem das escolhas de modelagem.
Sensitivity analysis and stress testing explore how outputs change with inputs and assumptions, identifying the drivers that matter most. Reproducibility, the ability to re-run a model and obtain the same result from the same inputs, is a basic requirement that versioned code and data make possible.
Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.
Métodos e seus limites.
Análise de resultados
Comparação das previsões com os resultados efetivos; fraca para eventos raros.
Challenger models
Comparing with alternatives to reveal model dependence.
Análise de sensibilidade
Identificação de fatores determinantes e condições de falha.
Limites: a validação pode mostrar que um modelo não está obviamente errado, mas não pode provar que está certo, especialmente para eventos raros e condições em mudança.
Como é estudado e o que os métodos não podem dizer.
- 01Matemática atuarialConstituição de reservas com triângulos de desenvolvimento · Composição do prêmio · Avaliação de rendas vitalíciasAplicado aqui
- 02Quantificação da incerteza e validação de modelosFaixas de reservas · Incerteza de parâmetros e de modelos · Classificação da sensibilidadeAplicado aqui
- 03Probabilidade e estatísticaModelos lineares generalizados na precificação · Credibilidade bayesiana · Testes de qualidade do ajusteAplicado aqui
- 04Computação de alto desempenho, em nuvem e de bordaSimulação de Monte Carlo · Controle de versões e reprodutibilidade · Controles da computação do usuário finalAplicado aqui
Perguntas e respostas.
What does validation check?
O que é o backtesting de reservas?
Why does code matter for validation?
A GRA valida modelos?
Um modelo validado ainda pode falhar?
Por que os modelos desafiantes são úteis?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GRAEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Apresente à Alliance uma questão de exposição ou de capital.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.