Skip to content

GRA · Riesgo de la IA y de los modelos financieros

Spatial financeWhere capital meets hazard, exposure and transition

Controles con intervención humana

Supervisión humana tiene por objeto detectar errores de los modelos, gestionar las excepciones y mantener la rendición de cuentas en manos de las personas. En la práctica, los revisores pueden deferir a los modelos, carecer de tiempo o de información, o ser sustituidos a medida que crece la automatización. Esta página expone cómo funcionan y fallan los controles con intervención humana en los servicios financieros, cómo se mide su eficacia y quién decide dónde debe permanecer el criterio humano.

01Registro

Controles con intervención humana en el registro.

02La pregunta

Human in the loop controls: how the risk develops.

Autoridad y aprobaciones. El expediente que figura a continuación expone cómo se desarrolla el riesgo, qué se mide, de dónde proceden los datos, cómo se modelan y quién decide.

Mecanismo

Sesgo de automatización

Los revisores a quienes se presenta una recomendación de un modelo tienden a aceptarla, en especial bajo presión de tiempo o cuando el modelo suele acertar. La supervisión se convierte en una aprobación solo de nombre.

Mecanismo

Reviewers lack context

Sin explicaciones, puntuaciones de confianza ni acceso a los datos subyacentes, los revisores no pueden juzgar cuándo anular una decisión, por lo que rara vez lo hacen.

Mecanismo

Accountability must stay with people

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

Mecanismo

Las anulaciones manuales enseñan al sistema

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03Exposición, pérdida y capital

What human in the loop controls means for exposure, loss and capital.

Las vistas de exposición, pérdida, escenarios y capital que pediría un responsable de riesgos, un supervisor o un ministerio de finanzas, con los marcos con arreglo a los cuales informan. Las estructuras siguen la práctica supervisora y actuarial. Los valores son ilustrativos: nunca precios, calificaciones ni asesoramiento.

Canales de transmisión

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Escenarios climáticos del NGFS · Red para la Ecologización del Sistema FinancieroNIIF S2 Información a revelar relacionada con el clima · ISSBRecomendaciones del TCFD · TCFD del Consejo de Estabilidad FinancieraPrincipios para la gestión eficaz de los riesgos financieros relacionados con el clima · Comité de Supervisión Bancaria de Basilea
04Indicadores

Qué se mide y con qué calidad.

Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.

IndicadorUnidadCadenciaTipo de fuenteEtiqueta
Tasa de anulaciónproporción de recomendaciones del modelo anuladasmensualRegistros de decisionesOBSERVADO
Resultado de las anulacionesperformance of overridden against non-overridden decisionstrimestralRegistros de decisiones y resultadosESTIMADO
Review time per caseminutosmensualDatos del flujo de trabajoOBSERVADO
Decisiones totalmente automatizadasproporción de decisionestrimestralRegistros de procesosDECLARADO
Responsable designado con rendición de cuentas por cada uso de un modeloshare of usesanualRegistros de gobernanzaDECLARADO
Recursos de los clientes contra decisiones automatizadasnúmero y proporción confirmadostrimestralDatos de reclamacionesNOTIFICADO
05Fuentes

De dónde procede la evidencia.

Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.

FuenteLo que aportaTipo de licencia
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight designGratuito, condiciones de reutilización de la UE
Disposiciones del RGPD sobre decisiones individuales automatizadasRights concerning solely automated decisionsGratuito, condiciones de reutilización de la UE
Documentos del régimen británico de directivos sénior y certificación (Senior Managers and Certification Regime)Responsabilidad individual en las empresas financieras del Reino UnidoFree, FCA and PRA terms
Research on automation bias in decision supportEvidence on human reliance on automated adviceDe lectura gratuita, condiciones según la editorial
Documento de aplicación de la IAIS sobre la supervisión de la IAExpectativas de rendición de cuentas para las aseguradorasGratuito, condiciones de la IAIS
06Decisiones

Quién decide y a qué sirve la evidencia.

La investigación de riesgo de modelo financiero prepara evidencia. Las decisiones que se indican a continuación las toman las autoridades nombradas, conforme a sus propias normas, y nunca la plataforma.

Quién decideLa preguntaEvidencia a la que sirve esta página
Consejos de administración y altos directivosQué decisiones deben conservar el criterio humano y quién rinde cuentasUse risk, legal duties and override evidence
Responsables de operacionesCómo se dota de recursos e información a los revisoresWorkflow, time and override data
ReguladoresWhether oversight arrangements meet legal requirementsDiseño del proceso y evidencia de resultados
Funciones de riesgo de modeloHow override data feed model reviewOverride and outcome analysis

Productos que genera este tema

  • Guía para diseñar una revisión humana significativa
  • Method note on analysing overrides and their outcomes
  • Informe breve sobre la rendición de cuentas cuando las decisiones se automatizan
  • Questions for boards on where judgement must remain human
07Cuestiones centrales

Lo que se preguntan los expertos.

Las preguntas indagan si la supervisión humana es real o nominal.

  • ¿En qué puntos del proceso interviene una persona para revisar, y con qué autoridad?
  • ¿Disponen los revisores de la información y el tiempo para discrepar del modelo?
  • How often do reviewers override the model, and are overrides analysed?
  • ¿Quién responde de una decisión: el propietario del modelo, el revisor o la institución?
  • ¿Se puede detener el proceso con rapidez si el modelo se comporta de forma inesperada?
08Mecanismos

Mecanismos y factores impulsores.

Sesgo de automatización es la tendencia a aceptar recomendaciones automatizadas sin el escrutinio suficiente, especialmente bajo presión de tiempo o cuando el sistema suele acertar. Puede reducir la revisión humana a una formalidad. A la inversa, las anulaciones incoherentes pueden introducir sesgo. Una supervisión eficaz exige derechos de decisión claros, información significativa, formación, una carga de trabajo que permita el juicio y el análisis de los patrones de anulación.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09Métodos y datos

Cómo se estudia y dónde terminan los métodos.

Método o datosLo que muestraLímites
Process and decision-rights mappingWhere humans sit and what they can doEl diseño formal puede diferir de la práctica
Análisis de anulacionesHow and why humans disagree with modelsRequiere un buen registro
Investigación sobre factores humanosSesgo de automatización y efectos de la carga de trabajoLos hallazgos de laboratorio pueden no ser transferibles
Incident reviewFailures of oversightLos incidentes se notifican por debajo de su número real
10Métodos

Cómo se estudia y lo que los métodos no pueden decir.

12Preguntas

Preguntas y respuestas.

What is automation bias?
La tendencia de las personas a confiar en exceso en las recomendaciones automatizadas, aceptándolas sin un examen suficiente incluso cuando son erróneas.
Does a human reviewer make a decision lawful?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
¿Por qué analizar las anulaciones?
Porque su frecuencia y sus resultados muestran dónde son débiles los modelos y si el juicio humano mejora las decisiones o añade incoherencia.
¿Es siempre necesaria la revisión humana?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
InformesContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
Riesgo de la IA y de los modelos financieros

Plantee una cuestión de exposición o de capital a la Alliance.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.