Skip to content

GRA · Riesgo de la IA y de los modelos financieros

Spatial financeWhere capital meets hazard, exposure and transition

Seguimiento de modelos y deriva

Un modelo validado en el momento de su puesta en marcha puede fallar más adelante a medida que cambian los clientes, los productos, los mercados y los flujos de datos. El seguimiento controla el desempeño, las distribuciones de entrada y los resultados para detectar la deriva y activar la revisión. Los modelos de aprendizaje automático que se reentrenan con frecuencia añaden sus propios riesgos. Esta página expone cómo surge la deriva, cómo la detecta el seguimiento, las medidas utilizadas y quién decide cuándo un modelo debe modificarse o detenerse.

01Registro

Model monitoring and drift on the record.

02La pregunta

Model monitoring and drift: how the risk develops.

Cambios a lo largo del tiempo y umbrales de revisión. El expediente siguiente expone cómo evoluciona el riesgo, qué se mide, de dónde proceden los datos, cómo se modelizan y quién decide.

Mecanismo

Deriva de los datos

La distribución de las entradas cambia cuando llegan nuevos segmentos de clientes, los productos se modifican o los sistemas de origen alteran campos. El modelo se encuentra con datos con los que no fue entrenado.

Mecanismo

Deriva conceptual

The relationship between inputs and outcomes changes, for example when an economic shock alters who defaults. Accuracy falls even if inputs look stable.

Mecanismo

Los resultados llegan tarde

Defaults and claims emerge months or years after decisions, so true performance is known late. Proxies and early indicators fill the gap with uncertainty.

Mecanismo

El reentrenamiento añade riesgo

Frequent retraining can absorb drift, and it can also learn from feedback loops or corrupted data. Each retrained version needs controls proportionate to its use.

03Exposición, pérdida y capital

What model monitoring and drift means for exposure, loss and capital.

Las vistas de exposición, pérdida, escenarios y capital que pediría un responsable de riesgos, un supervisor o un ministerio de finanzas, con los marcos con arreglo a los cuales informan. Las estructuras siguen la práctica supervisora y actuarial. Los valores son ilustrativos: nunca precios, calificaciones ni asesoramiento.

Canales de transmisión

Cómo una perturbación en la monitorización de modelos y la deriva llega al riesgo de crédito, de mercado, de suscripción, de liquidez y operacional, y retroalimenta.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Escenarios climáticos del NGFS · Red para la Ecologización del Sistema FinancieroNIIF S2 Información a revelar relacionada con el clima · ISSBRecomendaciones del TCFD · TCFD del Consejo de Estabilidad FinancieraPrincipios para la gestión eficaz de los riesgos financieros relacionados con el clima · Comité de Supervisión Bancaria de Basilea
04Indicadores

Qué se mide y con qué calidad.

Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.

IndicadorUnidadCadenciaTipo de fuenteEtiqueta
Population stability index by inputadimensionalmensualSeguimientoESTIMADO
Desempeño frente a la línea base de validaciónchange in discrimination or calibrationmensual o trimestralSeguimientoESTIMADO
Alertas de monitorización que superan los umbralesrecuentomensualRegistros de seguimientoOBSERVADO
Modelos reentrenados en el periodorecuentotrimestralRegistros de modelosDECLARADO
Incidentes en los flujos de datos que afectan a los modelosrecuentotrimestralRegistros de incidentesNOTIFICADO
Time from alert to remediationdíasper alertRegistros de gobernanzaOBSERVADO
05Fuentes

De dónde procede la evidencia.

Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.

FuenteLo que aportaTipo de licencia
PRA SS1/23 principles on model monitoringExpectativas para el seguimiento continuo del desempeñoGratuito, condiciones del Bank of England
SR 11-7 on ongoing monitoring and outcomes analysisExpectativas de Estados UnidosDominio público
Directrices de la EBA sobre concesión y seguimiento de préstamosSeguimiento de los modelos automatizados de créditoGratuito, condiciones de reutilización de la UE
Academic research on dataset shiftMétodos para detectar la deriva y adaptarse a ellaDe lectura gratuita, condiciones según la editorial
Divulgaciones de pruebas retrospectivas de modelos del Pilar 3 bancarioBack-testing results for capital modelsRegistros públicos, condiciones según cada banco
06Decisiones

Quién decide y a qué sirve la evidencia.

La investigación de riesgo de modelo financiero prepara evidencia. Las decisiones que se indican a continuación las toman las autoridades nombradas, conforme a sus propias normas, y nunca la plataforma.

Quién decideLa preguntaEvidencia a la que sirve esta página
Responsables de modelosWhen to recalibrate, redevelop or retire a modelSeguimiento de los resultados frente a los umbrales
Funciones de riesgo de modeloQué normas de seguimiento se aplican según el nivelEvidencia de políticas y seguimiento
SupervisoresSi el seguimiento es adecuado para los modelos de capital y de conductaHallazgos de las pruebas retrospectivas y de la revisión
Propietarios de los datosCómo se controlan los cambios en origenPipeline incident records

Productos que genera este tema

  • Guía sobre la deriva de datos y la deriva de concepto
  • Method note on monitoring thresholds and alerts
  • Nota sobre controles para modelos reentrenados con frecuencia
  • Questions for model owners on late-arriving outcomes
07Cuestiones centrales

Lo que se preguntan los expertos.

Monitoring questions ask how soon a problem will be seen.

  • Which performance measures are monitored, and how often?
  • ¿Con qué rapidez se observan los resultados, como los impagos o las reclamaciones, y qué cubre el intervalo mientras tanto?
  • ¿Ha cambiado la distribución de los datos de entrada y tiene importancia?
  • What thresholds trigger review, recalibration or withdrawal, and who set them?
  • How are continuously retrained models governed?
08Mecanismos

Mecanismos y factores impulsores.

La deriva de datos se produce cuando cambia la distribución de las entradas, por ejemplo un nuevo segmento de clientes o un cambio en una fuente de datos. La deriva de concepto se produce cuando cambia la relación entre las entradas y los resultados, por ejemplo cuando una perturbación económica altera la forma en que los ingresos predicen el reembolso. La deriva de concepto es más peligrosa y más difícil de detectar, porque los resultados pueden tardar meses o años en observarse.

Feedback loops add complexity: a model’s decisions change who becomes a customer, which changes future data. Retraining can restore performance but can also absorb errors or bias, so retrained models need governance of their own.

09Métodos y datos

Cómo se estudia y dónde terminan los métodos.

Método o datosLo que muestraLímites
Performance tracking against outcomesAccuracy and calibration over timeLos resultados llegan con retraso
Distribution shift statisticsCambios en los datos de entradaEl cambio no siempre implica una pérdida de rendimiento
Modelos de referencia y modelos competidoresDesempeño relativoChallengers share some data limitations
Marcos de umbrales y alertasCuándo escalarLos umbrales implican juicio
11Preguntas

Preguntas y respuestas.

What is the difference between data drift and concept drift?
La deriva de datos es un cambio en la distribución de las entradas; la deriva de concepto es un cambio en la relación entre las entradas y los resultados. Ambas pueden reducir la precisión del modelo.
¿Qué es un índice de estabilidad de la población?
Medida que compara la distribución de una variable o puntuación entre dos periodos, utilizada para detectar cambios en la población que puntúa un modelo.
¿Deben los modelos reentrenarse automáticamente?
Automatic retraining can keep models current but needs controls on data quality, performance checks and approval proportionate to the model’s use.
¿Por qué es difícil detectar la deriva conceptual?
Porque implica cambios en la relación entre insumos y resultados, y resultados como los impagos pueden conocerse mucho después de haberse tomado las decisiones.
Is automatic retraining a solution?
Puede ayudar, pero requiere gobernanza: los modelos reentrenados pueden absorber errores, sesgos o condiciones temporales, y aun así deben probarse y aprobarse.
Does the platform monitor firms’ models?
No. La GRA no supervisa, valida ni aprueba ningún modelo.
InformesContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Riesgo de la IA y de los modelos financieros

Plantee una cuestión de exposición o de capital a la Alliance.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.