GRA · Актуарные и количественные риски
Пространственные финансыГде капитал встречается с опасностями, подверженностью и переходом
Валидация количественных моделей
Quantitative models for pricing, reserving, capital and risk must be shown fit for purpose before they are relied on. Validation tests data, methods, assumptions, implementation and outcomes, and is carried out by people independent of development under professional and supervisory standards. This page sets out how quantitative model validation works, where it falls short, the evidence it uses and who decides.
Quantitative model validation on the record.
Количественная валидация модели: как развивается риск.
Back-testing, benchmarking and challenger models. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Validation covers the whole model
Data quality, conceptual soundness, implementation, assumptions and outcomes all need testing. Checking only outputs misses errors that cancel or hide.
Back-testing needs time
Comparing predictions with outcomes takes years for long-tail and rare risks, so validation relies on other tests in the meantime.
Independence and skill
Validators must understand the methods and have authority to require changes. Weak independence turns validation into confirmation.
Code is part of the model
Errors in spreadsheets and code have caused large losses. Implementation testing, version control and reproducibility are part of validation.
Подверженность, опасность и кривая превышения.
Какие места формируют убытки в тяжёлый год и насколько глубоко они затрагивают перестрахование. Иллюстративные расчётные значения.
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Models validated in cycle | share by tier | ежегодно | Записи о валидации | ЗАДЕКЛАРИРОВАНО |
| Результаты валидации по степени серьёзности | количество | ежегодно | Записи о валидации | ЗАДЕКЛАРИРОВАНО |
| Actual-to-expected results | отношение | ежегодно | Experience monitoring | ОЦЕНЕНО |
| Reserve run-off deviation | процент | ежегодно | Развитие нормативных резервов | Опубликованная статистика |
| Выявленные ошибки внедрения | количество | ежегодно | Validation and audit records | ЗАДЕКЛАРИРОВАНО |
| Модели с воспроизводимым кодом и данными | доля | периодически | Документация модели | ЗАДЕКЛАРИРОВАНО |
Trace a shock in quantitative model validation to the balance sheet.
Составлена на основе профиля области Указатель Nexus Standards профиль территории Страхование и перестрахование: шоки, которые в нём названы, Системы и секторы, несущие убытки, меры контроля, которые их сдерживают, и данные, по которым их наблюдают. Выберите исходный шок и пройдите каскад шаг за шагом, чтобы увидеть, каких позиций он достигает и где могут концентрироваться убытки. Вид «Карта» помещает расчёт на условную географию с открытыми данными. Каждый вес является заявленным допущением. Это упражнение, а не прогноз, оценка стоимости, рейтинг или инвестиционная рекомендация. Чтобы смоделировать выбранное вами место, откройте полный Конструктор систем.
Опасности
- Тропический циклон
- Землетрясение
- Наводнение из-за ледового затора
- Лесной пожар
- Штормовой нагон (вызванное ниже по цепочке)
- Интенсивные осадки (вызванное ниже по цепочке)
- Речное наводнение (вызванное ниже по цепочке)
- Внезапный паводок (запущено далее по цепочке)
- Опасный прибой (вызванный ниже по цепочке)
- Масштабное отключение электроэнергии (вызванное ниже по цепочке)
- Массовое перемещение населения (вызванное ниже по цепочке)
- Прибрежное наводнение (вызванное ниже по цепочке)
- Серия афтершоков (запущена ниже по цепочке)
- Разрыв поверхности разлома (запущен ниже по цепочке)
- Разжижение грунта (запущено ниже по цепочке)
- Оползень склона (запущен ниже по цепочке)
- Камнепад (запущен ниже по цепочке)
- Цунами (запущено ниже по цепочке)
Системы и связи
- Страхование и перестрахование
- Банковское дело Взаимосвязи
- Учреждения по финансированию развития Взаимосвязи
- Гуманитарный сектор и гражданское общество Взаимосвязи
- Сельское хозяйство и землепользование Взаимосвязи
Меры контроля
NS-0Устав и принципыNS-3UNI записей о рисках (грамматика, сопоставление с прежней системой, полномочия на присвоение)NS-9Контекстные UNI (развертывания, экземпляры, экземпляры программ)NS-10Политики и положения (машиночитаемые обязательства: определение, обязательность, оценка и обеспечение исполнения)NS-11Верификация и мониторинг (доказательства, подтверждения, наблюдение за соответствием принципу нулевого доверия)NS-14Соответствие и сопоставление с внешними стандартамиNRS-F3Страхование, катастрофический риск и разрывы в страховой защитеNRS-H113Семейство опасностей: хрупкость финансовой системы (NHS-1 soc.financial-system)NRS-U17Вселенная : Insurance NexusNRS-H71Семейство опасностей: катастрофы глубокого времени и космические катастрофы (NHS-1 planet.deep-time)NRS-H65Семейство опасностей: нарушение планетарных границ (NHS-1 planet.boundary)NRS-F8Параметрическая и индексная передача риска
Наблюдение
- OECD Data Explorer (включая систему отчётности кредиторов, статистику страхования и пенсий) (приведено для справки)
- Статистика страхования (приведено для справки)
- Сводные потоки USGS о землетрясениях в формате GeoJSON (приведено для справки)
- Прямой экономический ущерб от бедствий в отношении к мировому валовому внутреннему продукту (ВВП)
- Прямой экономический ущерб от бедствий в отношении к мировому валовому внутреннему продукту
- (a) Число отделений коммерческих банков на 100 000 взрослых и (b) число банкоматов на 100 000 взрослых
Пример географии
- Западная Европа: 152 шестиугольные ячейки
- Интенсивность осадков за последние полчаса (IMERG), NASA GIBS
- Ночные огни сегодня, отключения (VIIRS Day/Night Band), NASA GIBS
- Поверхностные воды сквозь облачность, 30 m (радар OPERA DSWx-S1), NASA GIBS
- Угарный газ, перенос дыма (AIRS), NASA GIBS
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| IAA ISAP on models (ISAP 1A) | Model governance standard for actuaries | Free, IAA terms |
| Actuarial Standards Board ASOP on modelling | United States standard for actuarial models | Бесплатно, условия ASB |
| Financial Reporting Council Technical Actuarial Standards | UK standards including models | Free, FRC terms |
| EIOPA guidelines on internal model validation | Supervisory expectations | Бесплатно, условия повторного использования ЕС |
| Statutory loss development data | Reserve run-off for back-testing | Public records, terms per supervisor |
Что означает количественная валидация моделей применительно к подверженности, убыткам и капиталу.
Представления о подверженности, убытках, сценариях и капитале, которые запросил бы риск-менеджер, надзорный орган или министерство финансов, с указанием систем отчётности, которым они следуют. Структуры соответствуют надзорной и актуарной практике. Значения иллюстративны: это никогда не цены, рейтинги или рекомендации.
Подверженность и убытки по периодам повторяемости
How losses from quantitative model validation grow with severity, gross and net of reinsurance, against capital.
| Период повторяемости | Годовая вероятность | Валовой убыток | Чистый убыток | Нетто, капитал = 100 |
|---|---|---|---|---|
| 1 раз в 10 лет | 0.10 | 14 | 10 | 10 |
| 1 раз в 50 лет | 0.02 | 33 | 21 | 21 |
| 1 раз в 100 лет | 0.01 | 46 | 27 | 27 |
| 1 раз в 250 лет | 0.004 | 68 | 39 | 39 |
| Средние годовые потери | 3.1 | 2.2 | 2.2 |
Кто принимает решения и чему служит доказательная база.
Направление «Актуарные и количественные риски» готовит доказательную базу. Перечисленные ниже решения принимают указанные органы по своим собственным правилам, но никогда не платформа.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Validation functions | Whether models are fit for purpose | Test results and findings |
| Chief actuaries and model owners | Какие выводы подлежат устранению и как | Findings and impact analysis |
| Надзорные органы | Whether validation meets standards | Отчёты о валидации |
| Комитеты по аудиту | Whether validation is independent and effective | Записи об управлении |
Результаты, которые даёт эта тема
- Guide to validating actuarial and quantitative models
- Method note on reserve back-testing
- Brief on implementation risk and reproducibility
- Questions for boards on validation independence
Вопросы, которые задают эксперты.
- Is the model’s theory and design appropriate for its purpose?
- Is it implemented correctly, and do results reproduce?
- How do its predictions compare with outcomes that were not used to build it?
- How do results compare with alternative models and external benchmarks?
- Under which conditions would the model break down?
Что проверяет валидация.
Validation frameworks typically cover conceptual soundness, data quality, implementation, outcomes analysis and ongoing monitoring. Independence from model development is essential, because developers tend to share the model’s assumptions. Validation is proportionate to the materiality and complexity of the model.
Back-testing compares predictions with realised outcomes, for example the number of times losses exceeded a value-at-risk estimate. For rare-event models, back-testing has little power, because the events of interest seldom occur. Benchmarking compares results with alternative models, industry studies or external data. Challenger models, built with different assumptions or methods, reveal how much results depend on modelling choices.
Sensitivity analysis and stress testing explore how outputs change with inputs and assumptions, identifying the drivers that matter most. Reproducibility, the ability to re-run a model and obtain the same result from the same inputs, is a basic requirement that versioned code and data make possible.
Governance gives validation its force. Findings must reach people with authority to restrict or stop a model’s use, and model inventories, tiering by materiality and tracking of open findings help ensure that validation results lead to action rather than sitting in reports.
Методы и их ограничения.
Анализ результатов
Comparing predictions with realised outcomes; weak for rare events.
Модели-претенденты
Comparing with alternatives to reveal model dependence.
Анализ чувствительности
Identifying drivers and failure conditions.
Ограничения: валидация может показать, что модель не является очевидно ошибочной, но не может доказать, что модель верна, особенно для редких событий и меняющихся условий.
Как это изучается и чего методы не могут сказать.
- 01Актуарная математикаРезервирование с помощью треугольников развития · Построение премии · Оценка аннуитетовПрименяется здесь
- 02Количественная оценка неопределённости и валидация моделейДиапазоны резервов · Неопределённость параметров и моделей · Ранжирование чувствительностиПрименяется здесь
- 03Теория вероятностей и статистикаОбобщённые линейные модели в ценообразовании · Байесовская теория доверия · Проверка согласияПрименяется здесь
- 04Высокопроизводительные, облачные и периферийные вычисленияМоделирование методом Монте-Карло · Управление версиями и воспроизводимость · Контроль вычислений конечных пользователейПрименяется здесь
Вопросы и ответы.
What does validation check?
What is reserve back-testing?
Why does code matter for validation?
Does GRA validate models?
Может ли проверенная модель всё же дать сбой?
Why are challenger models useful?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаКонтрольная точка GW-GRAОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Обратитесь в Альянс с вопросом о подверженности или капитале.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.