GRA · Riesgo de la IA y de los modelos financieros
Spatial financeWhere capital meets hazard, exposure and transition
Seguimiento de modelos y deriva
Un modelo validado en el momento de su puesta en marcha puede fallar más adelante a medida que cambian los clientes, los productos, los mercados y los flujos de datos. El seguimiento controla el desempeño, las distribuciones de entrada y los resultados para detectar la deriva y activar la revisión. Los modelos de aprendizaje automático que se reentrenan con frecuencia añaden sus propios riesgos. Esta página expone cómo surge la deriva, cómo la detecta el seguimiento, las medidas utilizadas y quién decide cuándo un modelo debe modificarse o detenerse.
Model monitoring and drift on the record.
Model monitoring and drift: how the risk develops.
Cambios a lo largo del tiempo y umbrales de revisión. El expediente siguiente expone cómo evoluciona el riesgo, qué se mide, de dónde proceden los datos, cómo se modelizan y quién decide.
Deriva de los datos
La distribución de las entradas cambia cuando llegan nuevos segmentos de clientes, los productos se modifican o los sistemas de origen alteran campos. El modelo se encuentra con datos con los que no fue entrenado.
Deriva conceptual
The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.
Los resultados llegan tarde
Defaults and claims emerge months or years after decisions, so true performance is known late. Proxies and early indicators fill the gap with uncertainty.
El reentrenamiento añade riesgo
Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.
What model monitoring and drift means for exposure, loss and capital.
Las vistas de exposición, pérdida, escenarios y capital que pediría un responsable de riesgos, un supervisor o un ministerio de finanzas, con los marcos con arreglo a los cuales informan. Las estructuras siguen la práctica supervisora y actuarial. Los valores son ilustrativos: nunca precios, calificaciones ni asesoramiento.
Canales de transmisión
Cómo una perturbación en la monitorización de modelos y la deriva llega al riesgo de crédito, de mercado, de suscripción, de liquidez y operacional, y retroalimenta.
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Population stability index by input | adimensional | mensual | Seguimiento | ESTIMADO |
| Desempeño frente a la línea base de validación | change in discrimination or calibration | mensual o trimestral | Seguimiento | ESTIMADO |
| Alertas de monitorización que superan los umbrales | recuento | mensual | Registros de seguimiento | OBSERVADO |
| Modelos reentrenados en el periodo | recuento | trimestral | Registros de modelos | DECLARADO |
| Incidentes en los flujos de datos que afectan a los modelos | recuento | trimestral | Registros de incidentes | NOTIFICADO |
| Time from alert to remediation | días | per alert | Registros de gobernanza | OBSERVADO |
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| PRA SS1/23 principles on model monitoring | Expectativas para el seguimiento continuo del desempeño | Gratuito, condiciones del Bank of England |
| SR 11-7 on ongoing monitoring and outcomes analysis | Expectativas de Estados Unidos | Dominio público |
| Directrices de la EBA sobre concesión y seguimiento de préstamos | Seguimiento de los modelos automatizados de crédito | Gratuito, condiciones de reutilización de la UE |
| Academic research on dataset shift | Métodos para detectar la deriva y adaptarse a ella | De lectura gratuita, condiciones según la editorial |
| Divulgaciones de pruebas retrospectivas de modelos del Pilar 3 bancario | Back-testing results for capital models | Registros públicos, condiciones según cada banco |
Quién decide y a qué sirve la evidencia.
La investigación de riesgo de modelo financiero prepara evidencia. Las decisiones que se indican a continuación las toman las autoridades nombradas, conforme a sus propias normas, y nunca la plataforma.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Responsables de modelos | When to recalibrate, redevelop or retire a model | Seguimiento de los resultados frente a los umbrales |
| Funciones de riesgo de modelo | Qué normas de seguimiento se aplican según el nivel | Evidencia de políticas y seguimiento |
| Supervisores | Si el seguimiento es adecuado para los modelos de capital y de conducta | Hallazgos de las pruebas retrospectivas y de la revisión |
| Propietarios de los datos | Cómo se controlan los cambios en origen | Pipeline incident records |
Productos que genera este tema
- Guía sobre la deriva de datos y la deriva de concepto
- Method note on monitoring thresholds and alerts
- Nota sobre controles para modelos reentrenados con frecuencia
- Questions for model owners on late-arriving outcomes
Lo que se preguntan los expertos.
Monitoring questions ask how soon a problem will be seen.
- Which performance measures are monitored, and how often?
- ¿Con qué rapidez se observan los resultados, como los impagos o las reclamaciones, y qué cubre el intervalo mientras tanto?
- ¿Ha cambiado la distribución de los datos de entrada y tiene importancia?
- What thresholds trigger review, recalibration or withdrawal, and who set them?
- How are continuously retrained models governed?
Mecanismos y factores impulsores.
La deriva de datos se produce cuando cambia la distribución de las entradas, por ejemplo un nuevo segmento de clientes o un cambio en una fuente de datos. La deriva de concepto se produce cuando cambia la relación entre las entradas y los resultados, por ejemplo cuando una perturbación económica altera la forma en que los ingresos predicen el reembolso. La deriva de concepto es más peligrosa y más difícil de detectar, porque los resultados pueden tardar meses o años en observarse.
Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.
Cómo se estudia y dónde terminan los métodos.
| Método o datos | Lo que muestra | Límites |
|---|---|---|
| Performance tracking against outcomes | Accuracy and calibration over time | Los resultados llegan con retraso |
| Distribution shift statistics | Cambios en los datos de entrada | El cambio no siempre implica una pérdida de rendimiento |
| Modelos de referencia y modelos competidores | Desempeño relativo | Challengers share some data limitations |
| Marcos de umbrales y alertas | Cuándo escalar | Los umbrales implican juicio |
Cómo se estudia y lo que los métodos no pueden decir.
- 01Probabilidad y estadísticaPruebas de calibración · Estadísticas de deriva · Comparación de resultados entre gruposAplicado aquí
- 02Cuantificación de la incertidumbre y validación de modelosIntervalos de predicción para los modelos de pérdidas · Conjuntos de modelos · Capital o colchones por riesgo de modelosAplicado aquí
- 03Inteligencia artificial y aprendizaje automáticoModelos de crédito con potenciación de gradiente · Modelos de lenguaje en las operaciones · Detección de anomalíasAplicado aquí
- 04Ingeniería de evaluación y garantía de la IAValidación de modelos de aprendizaje automático · Red-teaming de IA generativa · Evaluación de equidadAplicado aquí
Preguntas y respuestas.
What is the difference between data drift and concept drift?
¿Qué es un índice de estabilidad de la población?
¿Deben los modelos reentrenarse automáticamente?
¿Por qué es difícil detectar la deriva conceptual?
Is automatic retraining a solution?
Does the platform monitor firms’ models?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GRAEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Plantee una cuestión de exposición o de capital a la Alliance.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.