GRA · مخاطر الذكاء الاصطناعي والنماذج المالية
التمويل المكانيحيث يلتقي رأس المال بالخطر والتعرّض والتحول
ضوابط مشاركة الإنسان في الحلقة
Human oversight is meant to catch model errors, handle exceptions and keep accountability with people. In practice reviewers can defer to models, lack time or information, or be removed as automation grows. This page sets out how human-in-the-loop controls work and fail in financial services, how their effectiveness is measured, and who decides where human judgement must stay.
Human in the loop controls on the record.
Human in the loop controls: how the risk develops.
Authority and approvals. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Automation bias
Reviewers presented with a model recommendation tend to accept it, especially under time pressure or when the model is usually right. Oversight becomes approval in name only.
Reviewers lack context
Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.
Accountability must stay with people
Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.
Overrides teach the system
Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.
What human in the loop controls means for exposure, loss and capital.
عروض التعرّض والخسائر والسيناريوهات ورأس المال التي يطلبها مسؤول المخاطر أو الجهة الرقابية أو وزارة المالية، مع الأطر التي يقدّمون التقارير وفقًا لها. وتتبع الهياكل الممارسات الرقابية والاكتوارية. والقيم توضيحية: وليست أبدًا أسعارًا أو تصنيفات أو مشورة.
قنوات الانتقال
How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Override rate | share of model recommendations overridden | شهري | سجلات القرارات | مرصود |
| Outcome of overrides | performance of overridden against non-overridden decisions | فصلي | Decision and outcome records | مُقدَّر |
| Review time per case | دقائق | شهري | Workflow data | مرصود |
| Decisions fully automated | share of decisions | فصلي | Process records | مُعلَن |
| Named accountable owner per model use | share of uses | سنوي | سجلات الحوكمة | مُعلَن |
| Customer appeals of automated decisions | عدد الحالات المؤيدة ونسبتها | فصلي | بيانات الشكاوى | مُبلَّغ عنه |
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| EU AI Act human oversight requirements for high-risk systems | Legal expectations for oversight design | مجاني، وفق شروط إعادة الاستخدام في الاتحاد الأوروبي |
| GDPR provisions on automated individual decision-making | Rights concerning solely automated decisions | مجاني، وفق شروط إعادة الاستخدام في الاتحاد الأوروبي |
| UK Senior Managers and Certification Regime documents | Individual accountability in UK financial firms | Free, FCA and PRA terms |
| Research on automation bias in decision support | Evidence on human reliance on automated advice | مجاني للقراءة، والشروط بحسب الناشر |
| IAIS Application Paper on the supervision of AI | Accountability expectations for insurers | مجاني، وفق شروط الرابطة الدولية لمشرفي التأمين |
من يقرر، وما الذي تخدمه الأدلة.
تدرس منصة مخاطر الذكاء الاصطناعي و النماذج المالية الأدلة. أما القرارات الواردة أدناه فتتخذها الجهات المسماة وفق قواعدها الخاصة، ولا تتخذها المنصة أبدًا.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| Boards and senior managers | Which decisions must keep human judgement and who is accountable | Use risk, legal duties and override evidence |
| Operations leaders | How reviewers are resourced and informed | Workflow, time and override data |
| الجهات التنظيمية | Whether oversight arrangements meet legal requirements | Process design and outcome evidence |
| وظائف مخاطر النماذج | How override data feed model review | Override and outcome analysis |
المخرجات التي يُنتجها هذا الموضوع
- Guide to designing meaningful human review
- Method note on analysing overrides and their outcomes
- Brief on accountability when decisions are automated
- Questions for boards on where judgement must remain human
- At which points in the process does a person review, and with what authority?
- Do reviewers have the information and time to disagree with the model?
- How often do reviewers override the model, and are overrides analysed?
- Who is accountable for a decision: the model owner, the reviewer or the institution?
- Can the process be stopped quickly if the model behaves unexpectedly?
الآليات والمحرّكات.
Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.
Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.
كيف يُدرس، وأين تتوقف المناهج.
| المنهج أو البيانات | ما يُظهره | الحدود |
|---|---|---|
| Process and decision-rights mapping | Where humans sit and what they can do | Formal design may differ from practice |
| Override analysis | How and why humans disagree with models | Requires good logging |
| Human factors research | Automation bias and workload effects | Laboratory findings may not transfer |
| Incident review | Failures of oversight | Incidents are under-reported |
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01هندسة تقييم الذكاء الاصطناعي وضمانهالتحقق من صحة نماذج التعلّم الآلي · اختبار الاختراق التحاكي للذكاء الاصطناعي التوليدي · تقييم الإنصافمُطبَّق هنا
- 02الذكاء الاصطناعي وتعلم الآلةنماذج الائتمان المعزّزة بالتدرج · النماذج اللغوية في العمليات · كشف الحالات الشاذةمُطبَّق هنا
- 03الاحتمالات والإحصاءاختبار المعايرة · إحصاءات الانجراف · مقارنة النتائج بين المجموعاتمُطبَّق هنا
إلى أين تقود هذه الصفحة على نطاق الاتحاد.
أسئلة وأجوبة.
What is automation bias?
Does a human reviewer make a decision lawful?
Why analyse overrides?
Is human review always necessary?
Does the platform set oversight standards?
ساهم بأدلة من هذه الصفحة.
Reports هي المطبوعة الفصلية للاتحاد. ويمكن لما تعرفه عن هذا الموضوع أن يصبح دليلًا أو حالة أو تصويبًا في الإصدار التالي، يُنسب إليك ويُنشر بموجب CC BY 4.0 حيثما كان من عملك الخاص.
- البريد الإلكترونيالبوابة GW-GRAأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- ReportsGlobal Risks Allianceاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
اعرض على التحالف سؤالًا يتعلق بالتعرّض أو رأس المال.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.