GRA · IA e Risco de Modelos Financeiros
Finanças espaciaisOnde o capital encontra ameaça, exposição e transição
Controles com intervenção humana
Supervisão humana deve detectar erros de modelo, tratar exceções e manter a responsabilização com as pessoas. Na prática, os revisores podem acatar os modelos, ter pouco tempo ou informação, ou ser retirados à medida que a automação cresce. Esta página expõe como os controles com intervenção humana funcionam e falham em serviços financeiros, como sua eficácia é medida e quem decide onde o julgamento humano deve permanecer.
Controles com intervenção humana no processo, conforme o registro.
Controles com intervenção humana: como o risco se desenvolve.
Autoridade e aprovações. O dossiê a seguir expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.
Viés de automação
Revisores diante de uma recomendação de modelo tendem a aceitá-la, sobretudo sob pressão de tempo ou quando o modelo costuma acertar. A supervisão passa a ser aprovação apenas de nome.
Reviewers lack context
Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.
A responsabilização deve permanecer com as pessoas
Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.
Overrides teach the system
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
What human in the loop controls means for exposure, loss and capital.
As vistas de exposição, perda, cenários e capital que um responsável pelo risco, um supervisor ou um ministério das finanças pediria, com os quadros de referência perante os quais reportam. As estruturas seguem a prática de supervisão e atuarial. Os valores são ilustrativos: nunca preços, notações ou aconselhamento.
Canais de transmissão
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Taxa de substituição | proporção de recomendações do modelo anuladas | mensal | Registros de decisões | OBSERVADO |
| Resultado das substituições manuais | performance of overridden against non-overridden decisions | trimestral | Registros de decisões e resultados | ESTIMADO |
| Review time per case | minutos | mensal | Dados de fluxo de trabalho | OBSERVADO |
| Decisões totalmente automatizadas | parcela das decisões | trimestral | Process records | DECLARADO |
| Responsável nomeado, com responsabilidade formal, por uso de modelo | participação dos usos | anual | Registros de governança | DECLARADO |
| Recursos de clientes contra decisões automatizadas | número e proporção mantidos | trimestral | Dados de reclamações | REPORTADO |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Lei de IA da UE supervisão humana da Lei de IA da UE para sistemas | Legal expectations for oversight design | Gratuito, termos de reutilização da UE |
| Disposições do GDPR sobre decisões individuais automatizadas | Rights concerning solely automated decisions | Gratuito, termos de reutilização da UE |
| Documentos do regime britânico de gestores seniores e certificação (UK Senior Managers and Certification Regime) | Responsabilização individual nas empresas financeiras do Reino Unido | Termos gratuitos, da FCA e da PRA |
| Research on automation bias in decision support | Evidence on human reliance on automated advice | Leitura gratuita, termos conforme cada editora |
| IAIS Application Paper on the supervision of AI | Accountability expectations for insurers | Gratuito, termos da IAIS |
Quem decide, e a que servem as evidências.
O AI and Financial risco de modelo Financeiro prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Boards and senior managers | Quais decisões devem manter o julgamento humano e quem responde por elas | Use risk, legal duties and override evidence |
| Operations leaders | Como os revisores são capacitados e informados | Workflow, time and override data |
| Reguladores | Whether oversight arrangements meet legal requirements | Desenho do processo e evidências de resultados |
| Funções de risco de modelos | How override data feed model review | Override and outcome analysis |
Produtos que este tema gera
- Guia para projetar uma revisão humana significativa
- Method note on analysing overrides and their outcomes
- Nota sobre responsabilização quando as decisões são automatizadas
- Questions for boards on where judgement must remain human
O que os especialistas perguntam.
As perguntas indagam se a supervisão humana é real ou apenas nominal.
- At which points in the process does a person review, and with what authority?
- Os revisores dispõem de informações e tempo para discordar do modelo?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- O processo pode ser interrompido rapidamente se o modelo se comportar de forma inesperada?
Mecanismos e fatores.
Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
Como é estudado e onde param os métodos.
| Método ou dados | O que mostra | Limites |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | O desenho formal pode diferir da prática |
| Análise de substituições | Como e por que os humanos discordam dos modelos | Exige bons registros (logs) |
| Pesquisa sobre fatores humanos | Viés de automação e efeitos da carga de trabalho | Laboratory findings may not transfer |
| Incident review | Failures of oversight | Incidents are under-reported |
Como é estudado e o que os métodos não podem dizer.
- 01Engenharia de avaliação e garantia de IAValidação de modelos de aprendizado de máquina · Red teaming da IA generativa · Avaliação da equidadeAplicado aqui
- 02Inteligência artificial e aprendizado de máquinaModelos de crédito com gradient boosting · Modelos de linguagem nas operações · Detecção de anomaliasAplicado aqui
- 03Probabilidade e estatísticaTestes de calibração · Estatísticas de deriva · Comparação de resultados entre gruposAplicado aqui
Para onde esta página leva em todo o Consórcio.
Perguntas e respostas.
O que é viés de automação?
Does a human reviewer make a decision lawful?
Why analyse overrides?
A revisão humana é sempre necessária?
Does the platform set oversight standards?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GRAEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks AllianceSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Apresente à Alliance uma questão de exposição ou de capital.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.