GRA · Riesgo de la IA y de los modelos financieros
Spatial financeWhere capital meets hazard, exposure and transition
Controles con intervención humana
Supervisión humana tiene por objeto detectar errores de los modelos, gestionar las excepciones y mantener la rendición de cuentas en manos de las personas. En la práctica, los revisores pueden deferir a los modelos, carecer de tiempo o de información, o ser sustituidos a medida que crece la automatización. Esta página expone cómo funcionan y fallan los controles con intervención humana en los servicios financieros, cómo se mide su eficacia y quién decide dónde debe permanecer el criterio humano.
Controles con intervención humana en el registro.
Human in the loop controls: how the risk develops.
Autoridad y aprobaciones. El expediente que figura a continuación expone cómo se desarrolla el riesgo, qué se mide, de dónde proceden los datos, cómo se modelan y quién decide.
Sesgo de automatización
Los revisores a quienes se presenta una recomendación de un modelo tienden a aceptarla, en especial bajo presión de tiempo o cuando el modelo suele acertar. La supervisión se convierte en una aprobación solo de nombre.
Reviewers lack context
Sin explicaciones, puntuaciones de confianza ni acceso a los datos subyacentes, los revisores no pueden juzgar cuándo anular una decisión, por lo que rara vez lo hacen.
Accountability must stay with people
Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.
Las anulaciones manuales enseñan al sistema
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
What human in the loop controls means for exposure, loss and capital.
Las vistas de exposición, pérdida, escenarios y capital que pediría un responsable de riesgos, un supervisor o un ministerio de finanzas, con los marcos con arreglo a los cuales informan. Las estructuras siguen la práctica supervisora y actuarial. Los valores son ilustrativos: nunca precios, calificaciones ni asesoramiento.
Canales de transmisión
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Tasa de anulación | proporción de recomendaciones del modelo anuladas | mensual | Registros de decisiones | OBSERVADO |
| Resultado de las anulaciones | performance of overridden against non-overridden decisions | trimestral | Registros de decisiones y resultados | ESTIMADO |
| Review time per case | minutos | mensual | Datos del flujo de trabajo | OBSERVADO |
| Decisiones totalmente automatizadas | proporción de decisiones | trimestral | Registros de procesos | DECLARADO |
| Responsable designado con rendición de cuentas por cada uso de un modelo | share of uses | anual | Registros de gobernanza | DECLARADO |
| Recursos de los clientes contra decisiones automatizadas | número y proporción confirmados | trimestral | Datos de reclamaciones | NOTIFICADO |
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Legal expectations for oversight design | Gratuito, condiciones de reutilización de la UE |
| Disposiciones del RGPD sobre decisiones individuales automatizadas | Rights concerning solely automated decisions | Gratuito, condiciones de reutilización de la UE |
| Documentos del régimen británico de directivos sénior y certificación (Senior Managers and Certification Regime) | Responsabilidad individual en las empresas financieras del Reino Unido | Free, FCA and PRA terms |
| Research on automation bias in decision support | Evidence on human reliance on automated advice | De lectura gratuita, condiciones según la editorial |
| Documento de aplicación de la IAIS sobre la supervisión de la IA | Expectativas de rendición de cuentas para las aseguradoras | Gratuito, condiciones de la IAIS |
Quién decide y a qué sirve la evidencia.
La investigación de riesgo de modelo financiero prepara evidencia. Las decisiones que se indican a continuación las toman las autoridades nombradas, conforme a sus propias normas, y nunca la plataforma.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Consejos de administración y altos directivos | Qué decisiones deben conservar el criterio humano y quién rinde cuentas | Use risk, legal duties and override evidence |
| Responsables de operaciones | Cómo se dota de recursos e información a los revisores | Workflow, time and override data |
| Reguladores | Whether oversight arrangements meet legal requirements | Diseño del proceso y evidencia de resultados |
| Funciones de riesgo de modelo | How override data feed model review | Override and outcome analysis |
Productos que genera este tema
- Guía para diseñar una revisión humana significativa
- Method note on analysing overrides and their outcomes
- Informe breve sobre la rendición de cuentas cuando las decisiones se automatizan
- Questions for boards on where judgement must remain human
Lo que se preguntan los expertos.
Las preguntas indagan si la supervisión humana es real o nominal.
- ¿En qué puntos del proceso interviene una persona para revisar, y con qué autoridad?
- ¿Disponen los revisores de la información y el tiempo para discrepar del modelo?
- How often do reviewers override the model, and are overrides analysed?
- ¿Quién responde de una decisión: el propietario del modelo, el revisor o la institución?
- ¿Se puede detener el proceso con rapidez si el modelo se comporta de forma inesperada?
Mecanismos y factores impulsores.
Sesgo de automatización es la tendencia a aceptar recomendaciones automatizadas sin el escrutinio suficiente, especialmente bajo presión de tiempo o cuando el sistema suele acertar. Puede reducir la revisión humana a una formalidad. A la inversa, las anulaciones incoherentes pueden introducir sesgo. Una supervisión eficaz exige derechos de decisión claros, información significativa, formación, una carga de trabajo que permita el juicio y el análisis de los patrones de anulación.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
Cómo se estudia y dónde terminan los métodos.
| Método o datos | Lo que muestra | Límites |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | El diseño formal puede diferir de la práctica |
| Análisis de anulaciones | How and why humans disagree with models | Requiere un buen registro |
| Investigación sobre factores humanos | Sesgo de automatización y efectos de la carga de trabajo | Los hallazgos de laboratorio pueden no ser transferibles |
| Incident review | Failures of oversight | Los incidentes se notifican por debajo de su número real |
Cómo se estudia y lo que los métodos no pueden decir.
- 01Ingeniería de evaluación y garantía de la IAValidación de modelos de aprendizaje automático · Red-teaming de IA generativa · Evaluación de equidadAplicado aquí
- 02Inteligencia artificial y aprendizaje automáticoModelos de crédito con potenciación de gradiente · Modelos de lenguaje en las operaciones · Detección de anomalíasAplicado aquí
- 03Probabilidad y estadísticaPruebas de calibración · Estadísticas de deriva · Comparación de resultados entre gruposAplicado aquí
Adónde lleva esta página en todo el Consorcio.
Preguntas y respuestas.
What is automation bias?
Does a human reviewer make a decision lawful?
¿Por qué analizar las anulaciones?
¿Es siempre necesaria la revisión humana?
Does the platform set oversight standards?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GRAEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Plantee una cuestión de exposición o de capital a la Alliance.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.