Skip to content

GRA · مخاطر الذكاء الاصطناعي والنماذج المالية

التمويل المكانيحيث يلتقي رأس المال بالخطر والتعرّض والتحول

ضوابط مشاركة الإنسان في الحلقة

Human oversight is meant to catch model errors, handle exceptions and keep accountability with people. In practice reviewers can defer to models, lack time or information, or be removed as automation grows. This page sets out how human-in-the-loop controls work and fail in financial services, how their effectiveness is measured, and who decides where human judgement must stay.

01سجّل

Human in the loop controls on the record.

02السؤال

Human in the loop controls: how the risk develops.

Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

الآلية

Automation bias

Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.

الآلية

Reviewers lack context

Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.

الآلية

Accountability must stay with people

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

الآلية

Overrides teach the system

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03التعرّض والخسائر ورأس المال

What human in the loop controls means for exposure, loss and capital.

عروض التعرّض والخسائر والسيناريوهات ورأس المال التي يطلبها مسؤول المخاطر أو الجهة الرقابية أو وزارة المالية، مع الأطر التي يقدّمون التقارير وفقًا لها. وتتبع الهياكل الممارسات الرقابية والاكتوارية. والقيم توضيحية: وليست أبدًا أسعارًا أو تصنيفات أو مشورة.

قنوات الانتقال

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
سيناريوهات ⁨NGFS⁩ المناخية · شبكة تخضير النظام المالي⁨IFRS S2⁩ الإفصاحات المتعلقة بالمناخ · ⁨ISSB⁩توصيات ⁨TCFD⁩ · مجلس الاستقرار المالي ⁨TCFD⁩مبادئ الإدارة الفعالة للمخاطر المالية المرتبطة بالمناخ · لجنة بازل للرقابة المصرفية
04المؤشرات الفرعية

ما الذي يُقاس، ومدى جودة قياسه.

يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.

المؤشرالوحدةوتيرة الإصدارنوع المصدرالوسم
Override rateshare of model recommendations overriddenشهريسجلات القراراتمرصود
Outcome of overridesperformance of overridden against non-overridden decisionsفصليDecision and outcome recordsمُقدَّر
Review time per caseدقائقشهريWorkflow dataمرصود
Decisions fully automatedshare of decisionsفصليProcess recordsمُعلَن
Named accountable owner per model useshare of usesسنويسجلات الحوكمةمُعلَن
Customer appeals of automated decisionsعدد الحالات المؤيدة ونسبتهافصليبيانات الشكاوىمُبلَّغ عنه
05المصادر

من أين تأتي الأدلة.

مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.

المصدرما يقدّمهفئة الترخيص
EU AI Act human oversight requirements for high-risk systemsLegal expectations for oversight designمجاني، وفق شروط إعادة الاستخدام في الاتحاد الأوروبي
GDPR provisions on automated individual decision-makingRights concerning solely automated decisionsمجاني، وفق شروط إعادة الاستخدام في الاتحاد الأوروبي
UK Senior Managers and Certification Regime documentsIndividual accountability in UK financial firmsFree, FCA and PRA terms
Research on automation bias in decision supportEvidence on human reliance on automated adviceمجاني للقراءة، والشروط بحسب الناشر
IAIS Application Paper on the supervision of AIAccountability expectations for insurersمجاني، وفق شروط الرابطة الدولية لمشرفي التأمين
06القرارات

من يقرر، وما الذي تخدمه الأدلة.

تدرس منصة مخاطر الذكاء الاصطناعي و النماذج المالية الأدلة. أما القرارات الواردة أدناه فتتخذها الجهات المسماة وفق قواعدها الخاصة، ولا تتخذها المنصة أبدًا.

من يقررالسؤالالأدلة التي تخدمها هذه الصفحة
Boards and senior managersWhich decisions must keep human judgement and who is accountableUse risk, legal duties and override evidence
Operations leadersHow reviewers are resourced and informedWorkflow, time and override data
الجهات التنظيميةWhether oversight arrangements meet legal requirementsProcess design and outcome evidence
وظائف مخاطر النماذجHow override data feed model reviewOverride and outcome analysis

المخرجات التي يُنتجها هذا الموضوع

  • Guide to designing meaningful human review
  • Method note on analysing overrides and their outcomes
  • Brief on accountability when decisions are automated
  • Questions for boards on where judgement must remain human
07الأسئلة الجوهرية

ما يسأل عنه الخبراء.

The questions ask whether human oversight is real or nominal.

  • At which points in the process does a person review, and with what authority?
  • Do reviewers have the information and time to disagree with the model?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Can the process be stopped quickly if the model behaves unexpectedly?
08الآليات

الآليات والمحرّكات.

Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09المناهج والبيانات

كيف يُدرس، وأين تتوقف المناهج.

المنهج أو البياناتما يُظهرهالحدود
Process and decision-rights mappingWhere humans sit and what they can doFormal design may differ from practice
Override analysisHow and why humans disagree with modelsRequires good logging
Human factors researchAutomation bias and workload effectsLaboratory findings may not transfer
Incident reviewFailures of oversightIncidents are under-reported
11متصل

إلى أين تقود هذه الصفحة على نطاق الاتحاد.

12أسئلة

أسئلة وأجوبة.

What is automation bias?
The tendency of people to over-rely on automated recommendations, accepting them without sufficient scrutiny even when they are wrong.
Does a human reviewer make a decision lawful?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
Why analyse overrides?
Because their frequency and outcomes show where models are weak and whether human judgement improves decisions or adds inconsistency.
Is human review always necessary?
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
No. Standards are set by legislators, regulators and institutions. GRA publishes sector-level research.
⁨Reports⁩ساهم

ساهم بأدلة من هذه الصفحة.

Reports هي المطبوعة الفصلية للاتحاد. ويمكن لما تعرفه عن هذا الموضوع أن يصبح دليلًا أو حالة أو تصويبًا في الإصدار التالي، يُنسب إليك ويُنشر بموجب CC BY 4.0 حيثما كان من عملك الخاص.

⁨Global Risks Alliance⁩مخاطر الذكاء الاصطناعي والنماذج الماليةالأساليب والجوانب التقنيةالتقنيات الأسية
مخاطر الذكاء الاصطناعي والنماذج المالية

اعرض على التحالف سؤالًا يتعلق بالتعرّض أو رأس المال.

المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.