Skip to content

GRA · IA e Risco de Modelos Financeiros

Finanças espaciaisOnde o capital encontra ameaça, exposição e transição

Controles com intervenção humana

Supervisão humana deve detectar erros de modelo, tratar exceções e manter a responsabilização com as pessoas. Na prática, os revisores podem acatar os modelos, ter pouco tempo ou informação, ou ser retirados à medida que a automação cresce. Esta página expõe como os controles com intervenção humana funcionam e falham em serviços financeiros, como sua eficácia é medida e quem decide onde o julgamento humano deve permanecer.

01Registrar

Controles com intervenção humana no processo, conforme o registro.

02A pergunta

Controles com intervenção humana: como o risco se desenvolve.

Autoridade e aprovações. O dossiê a seguir expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.

Mecanismo

Viés de automação

Revisores diante de uma recomendação de modelo tendem a aceitá-la, sobretudo sob pressão de tempo ou quando o modelo costuma acertar. A supervisão passa a ser aprovação apenas de nome.

Mecanismo

Reviewers lack context

Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.

Mecanismo

A responsabilização deve permanecer com as pessoas

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

Mecanismo

Overrides teach the system

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03Exposição, perda e capital

What human in the loop controls means for exposure, loss and capital.

As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.

Canais de transmissão

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
Cenários climáticos do NGFS · Network for Greening the Financial SystemIFRS S2 Divulgações Relacionadas ao Clima · ISSBRecomendações da TCFD · Financial Stability Board TCFDPrincípios para a gestão eficaz dos riscos financeiros relacionados ao clima · Comitê de Basileia de Supervisão Bancária
04Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Taxa de substituiçãoproporção de recomendações do modelo anuladasmensalRegistros de decisõesOBSERVADO
Resultado das substituições manuaisperformance of overridden against non-overridden decisionstrimestralRegistros de decisões e resultadosESTIMADO
Review time per caseminutosmensalDados de fluxo de trabalhoOBSERVADO
Decisões totalmente automatizadasparcela das decisõestrimestralProcess recordsDECLARADO
Responsável nomeado, com responsabilidade formal, por uso de modeloparticipação dos usosanualRegistros de governançaDECLARADO
Recursos de clientes contra decisões automatizadasnúmero e proporção mantidostrimestralDados de reclamaçõesREPORTADO
05Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
Lei de IA da UE supervisão humana da Lei de IA da UE para sistemasLegal expectations for oversight designGratuito, termos de reutilização da UE
Disposições do GDPR sobre decisões individuais automatizadasRights concerning solely automated decisionsGratuito, termos de reutilização da UE
Documentos do regime britânico de gestores seniores e certificação (UK Senior Managers and Certification Regime)Responsabilização individual nas empresas financeiras do Reino UnidoTermos gratuitos, da FCA e da PRA
Research on automation bias in decision supportEvidence on human reliance on automated adviceLeitura gratuita, termos conforme cada editora
IAIS Application Paper on the supervision of AIAccountability expectations for insurersGratuito, termos da IAIS
06Decisões

Quem decide, e a que servem as evidências.

O AI and Financial risco de modelo Financeiro prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Boards and senior managersQuais decisões devem manter o julgamento humano e quem responde por elasUse risk, legal duties and override evidence
Operations leadersComo os revisores são capacitados e informadosWorkflow, time and override data
ReguladoresWhether oversight arrangements meet legal requirementsDesenho do processo e evidências de resultados
Funções de risco de modelosHow override data feed model reviewOverride and outcome analysis

Produtos que este tema gera

  • Guia para projetar uma revisão humana significativa
  • Method note on analysing overrides and their outcomes
  • Nota sobre responsabilização quando as decisões são automatizadas
  • Questions for boards on where judgement must remain human
07Questões centrais

O que os especialistas perguntam.

As perguntas indagam se a supervisão humana é real ou apenas nominal.

  • At which points in the process does a person review, and with what authority?
  • Os revisores dispõem de informações e tempo para discordar do modelo?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • O processo pode ser interrompido rapidamente se o modelo se comportar de forma inesperada?
08Mecanismos

Mecanismos e fatores.

Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09Métodos e dados

Como é estudado e onde param os métodos.

Método ou dadosO que mostraLimites
Process and decision-rights mappingWhere humans sit and what they can doO desenho formal pode diferir da prática
Análise de substituiçõesComo e por que os humanos discordam dos modelosExige bons registros (logs)
Pesquisa sobre fatores humanosViés de automação e efeitos da carga de trabalhoLaboratory findings may not transfer
Incident reviewFailures of oversightIncidents are under-reported
10Métodos

Como é estudado e o que os métodos não podem dizer.

12Perguntas

Perguntas e respostas.

O que é viés de automação?
A tendência de as pessoas confiarem excessivamente em recomendações automatizadas, aceitando-as sem escrutínio suficiente mesmo quando estão erradas.
Does a human reviewer make a decision lawful?
Não por si só. A revisão deve ser significativa, com tempo, informação e autoridade para alterar o resultado, e os deveres legais continuam a se aplicar à empresa.
Why analyse overrides?
Porque sua frequência e seus resultados mostram onde os modelos são fracos e se o julgamento humano melhora as decisões ou acrescenta inconsistência.
A revisão humana é sempre necessária?
Não para todas as decisões. O nível adequado de supervisão depende das consequências, do risco do modelo e da lei.
Does the platform set oversight standards?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

Global Risks AllianceAI and Financial Model RiskMethods and TechnicalExponential Technology
IA e Risco de Modelos Financeiros

Apresente à Alliance uma questão de exposição ou de capital.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.