Skip to content

GRA · Актуарные и количественные риски

Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом

Валидация количественных моделей

Quantitative models for pricing, reserving, capital and risk must be shown fit for purpose before they are relied on. Validation tests data, methods, assumptions, implementation and outcomes, and is carried out by people independent of development under professional and supervisory standards. This page sets out how quantitative model validation works, where it falls short, the evidence it uses and who decides.

02Вопрос

Количественная валидация модели: как развивается риск.

Back-testing, benchmarking and challenger models. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Validation covers the whole model

Data quality, conceptual soundness, implementation, assumptions and outcomes all need testing. Checking only outputs misses errors that cancel or hide.

Механизм

Back-testing needs time

Comparing predictions with outcomes takes years for long-tail and rare risks, so validation relies on other tests in the meantime.

Механизм

Independence and skill

Validators must understand the methods and have authority to require changes. Weak independence turns validation into confirmation.

Механизм

Code is part of the model

Errors in spreadsheets and code have caused large losses. Implementation testing, version control and reproducibility are part of validation.

03Пространственные финансы

Подверженность, опасность и кривая превышения.

Какие места формируют убытки в тяжёлый год и насколько глубоко они затрагивают перестрахование. Иллюстративные расчётные значения.

Подверженность побережий в зонах циклонов и землетрясений рядом с кривой убытков, которую она порождает.Иллюстративные расчётные значения, не результат модели и не цена.
04Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Models validated in cycleshare by tierежегодноЗаписи о валидацииЗАДЕКЛАРИРОВАНО
Результаты валидации по степени серьёзностиколичествоежегодноЗаписи о валидацииЗАДЕКЛАРИРОВАНО
Actual-to-expected resultsотношениеежегодноExperience monitoringОЦЕНЕНО
Reserve run-off deviationпроцентежегодноРазвитие нормативных резервовОпубликованная статистика
Выявленные ошибки внедренияколичествоежегодноValidation and audit recordsЗАДЕКЛАРИРОВАНО
Модели с воспроизводимым кодом и даннымидоляпериодическиДокументация моделиЗАДЕКЛАРИРОВАНО
05Симулятор двойника и каскадов

Trace a shock in quantitative model validation to the balance sheet.

Составлена на основе профиля области Указатель Nexus Standards профиль территории Страхование и перестрахование: шоки, которые в нём названы, Системы и секторы, несущие убытки, меры контроля, которые их сдерживают, и данные, по которым их наблюдают. Выберите исходный шок и пройдите каскад шаг за шагом, чтобы увидеть, каких позиций он достигает и где могут концентрироваться убытки. Вид «Карта» помещает расчёт на условную географию с открытыми данными. Каждый вес является заявленным допущением. Это упражнение, а не прогноз, оценка стоимости, рейтинг или инвестиционная рекомендация. Чтобы смоделировать выбранное вами место, откройте полный Конструктор систем.

Опасности

  • Тропический циклон
  • Землетрясение
  • Наводнение из-за ледового затора
  • Лесной пожар
  • Штормовой нагон (вызванное ниже по цепочке)
  • Интенсивные осадки (вызванное ниже по цепочке)
  • Речное наводнение (вызванное ниже по цепочке)
  • Внезапный паводок (запущено далее по цепочке)
  • Опасный прибой (вызванный ниже по цепочке)
  • Масштабное отключение электроэнергии (вызванное ниже по цепочке)
  • Массовое перемещение населения (вызванное ниже по цепочке)
  • Прибрежное наводнение (вызванное ниже по цепочке)
  • Серия афтершоков (запущена ниже по цепочке)
  • Разрыв поверхности разлома (запущен ниже по цепочке)
  • Разжижение грунта (запущено ниже по цепочке)
  • Оползень склона (запущен ниже по цепочке)
  • Камнепад (запущен ниже по цепочке)
  • Цунами (запущено ниже по цепочке)

Меры контроля

  • NS-0 Устав и принципы
  • NS-3 UNI записей о рисках (грамматика, сопоставление с прежней системой, полномочия на присвоение)
  • NS-9 Контекстные UNI (развертывания, экземпляры, экземпляры программ)
  • NS-10 Политики и положения (машиночитаемые обязательства: определение, обязательность, оценка и обеспечение исполнения)
  • NS-11 Верификация и мониторинг (доказательства, подтверждения, наблюдение за соответствием принципу нулевого доверия)
  • NS-14 Соответствие и сопоставление с внешними стандартами
  • NRS-F3 Страхование, катастрофический риск и разрывы в страховой защите
  • NRS-H113 Семейство опасностей: хрупкость финансовой системы (NHS-1 soc.financial-system)
  • NRS-U17 Вселенная : Insurance Nexus
  • NRS-H71 Семейство опасностей: катастрофы глубокого времени и космические катастрофы (NHS-1 planet.deep-time)
  • NRS-H65 Семейство опасностей: нарушение планетарных границ (NHS-1 planet.boundary)
  • NRS-F8 Параметрическая и индексная передача риска

Наблюдение

  • OECD Data Explorer (включая систему отчётности кредиторов, статистику страхования и пенсий) (приведено для справки)
  • Статистика страхования (приведено для справки)
  • Сводные потоки USGS о землетрясениях в формате GeoJSON (приведено для справки)
  • Прямой экономический ущерб от бедствий в отношении к мировому валовому внутреннему продукту (ВВП)
  • Прямой экономический ущерб от бедствий в отношении к мировому валовому внутреннему продукту
  • (a) Число отделений коммерческих банков на 100 000 взрослых и (b) число банкоматов на 100 000 взрослых

Пример географии

  • Западная Европа: 152 шестиугольные ячейки
  • Интенсивность осадков за последние полчаса (IMERG), NASA GIBS
  • Ночные огни сегодня, отключения (VIIRS Day/Night Band), NASA GIBS
  • Поверхностные воды сквозь облачность, 30 m (радар OPERA DSWx-S1), NASA GIBS
  • Угарный газ, перенос дыма (AIRS), NASA GIBS
06Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
IAA ISAP on models (ISAP 1A)Model governance standard for actuariesFree, IAA terms
Actuarial Standards Board ASOP on modellingUnited States standard for actuarial modelsБесплатно, условия ASB
Financial Reporting Council Technical Actuarial StandardsUK standards including modelsFree, FRC terms
EIOPA guidelines on internal model validationSupervisory expectationsБесплатно, условия повторного использования ЕС
Statutory loss development dataReserve run-off for back-testingPublic records, terms per supervisor
07Подверженность, убытки и капитал

Что означает количественная валидация моделей применительно к подверженности, убыткам и капиталу.

Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.

Подверженность и убытки по периодам повторяемости

How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.

1 раз в 10 лет1 раз в 50 лет1 раз в 100 лет1 раз в 250 летбруттоза вычетом перестрахования800
Период повторяемостиГодовая вероятностьВаловой убытокЧистый убытокНетто, капитал = 100
1 раз в 10 лет0.10141010
1 раз в 50 лет0.02332121
1 раз в 100 лет0.01462727
1 раз в 250 лет0.004683939
Средние годовые потери3.12.22.2
Иллюстративный индекс убытков для примерного портфеля (капитал = 100): форма вероятности превышения, которую читают страховщики и надзорные органы. Это не данные о каком-либо учреждении, не цена и не рейтинг.
Климатические сценарии NGFS · Сеть по экологизации финансовой системыIFRS S2 «Раскрытие информации, связанной с климатом» · ISSBРекомендации TCFD · Совет по финансовой стабильности, TCFDПринципы эффективного управления климатическими финансовыми рисками · Базельский комитет по банковскому надзору
08Решения

Кто принимает решения и чему служит доказательная база.

Направление «Актуарные и количественные риски» готовит доказательную базу. Перечисленные ниже решения принимают указанные органы по своим собственным правилам, но никогда не платформа.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Validation functionsWhether models are fit for purposeTest results and findings
Chief actuaries and model ownersКакие выводы подлежат устранению и какFindings and impact analysis
Надзорные органыWhether validation meets standardsОтчёты о валидации
Комитеты по аудитуWhether validation is independent and effectiveЗаписи об управлении

Результаты, которые даёт эта тема

  • Guide to validating actuarial and quantitative models
  • Method note on reserve back-testing
  • Brief on implementation risk and reproducibility
  • Questions for boards on validation independence
09Ключевые вопросы

Вопросы, которые задают эксперты.

  • Is the model’s theory and design appropriate for its purpose?
  • Is it implemented correctly, and do results reproduce?
  • How do its predictions compare with outcomes that were not used to build it?
  • How do results compare with alternative models and external benchmarks?
  • Under which conditions would the model break down?
10Механизмы

Что проверяет валидация.

Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.

Back-testing compares predictions with realised outcomes, for example the number of times losses exceeded a value-at-risk estimate. For rare-event models, back-testing has little power, because the events of interest seldom occur. Benchmarking compares results with alternative models, industry studies or external data. Challenger models, built with different assumptions or methods, reveal how much results depend on modelling choices.

Sensitivity analysis and stress testing explore how outputs change with inputs and assumptions, identifying the drivers that matter most. Reproducibility, the ability to re-run a model and obtain the same result from the same inputs, is a basic requirement that versioned code and data make possible.

Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.

11Методы и данные

Методы и их ограничения.

Back-testing

Анализ результатов

Comparing predictions with realised outcomes; weak for rare events.

Сравнительный анализ

Модели-претенденты

Comparing with alternatives to reveal model dependence.

Чувствительность

Анализ чувствительности

Identifying drivers and failure conditions.

Ограничения: валидация может показать, что модель не является очевидно ошибочной, но не может доказать, что модель верна, особенно для редких событий и меняющихся условий.

12Методы

Как это изучается и чего методы не могут сказать.

  1. Актуарная математикаРезервирование с помощью треугольников развития · Построение премии · Оценка аннуитетовПрименяется здесь
  2. Количественная оценка неопределённости и валидация моделейДиапазоны резервов · Неопределённость параметров и моделей · Ранжирование чувствительностиПрименяется здесь
  3. Теория вероятностей и статистикаОбобщённые линейные модели в ценообразовании · Байесовская теория доверия · Проверка согласияПрименяется здесь
  4. Высокопроизводительные, облачные и периферийные вычисленияМоделирование методом Монте-Карло · Управление версиями и воспроизводимость · Контроль вычислений конечных пользователейПрименяется здесь
13Вопросы

Вопросы и ответы.

What does validation check?
Data, conceptual soundness, assumptions, implementation and outcomes, to judge whether a model is fit for its intended use.
What is reserve back-testing?
Comparing past reserve estimates with how claims actually developed, to measure reserving accuracy and bias.
Why does code matter for validation?
Потому что ошибки реализации в электронных таблицах и коде могут давать неверные результаты, даже если метод надёжен.
Does GRA validate models?
Нет. GRA не проверяет, не утверждает и не визирует ни одну модель. Он публикует исследования о методах валидации.
Может ли проверенная модель всё же дать сбой?
Yes. Validation reduces the chance of undetected errors but cannot rule out failure under conditions not seen before.
Why are challenger models useful?
Because they show how much results depend on modelling choices, which a single model cannot reveal.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

Global Risks AllianceActuarial and Quantitative RiskMethods and TechnicalFinance and Insurance Readiness
Актуарные и количественные риски

Обратитесь в Альянс с вопросом о подверженности или капитале.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.