Skip to content

GRA · هوش مصنوعی و ریسک الگوی مالی

مالی فضاییجایی که سرمایه به مخاطره، مواجهه و گذار برمی‌خورد

کنترل‌های انسان در حلقه

نظارت انسانی برای کشف خطاهای مدل، رسیدگی به موارد استثنا و حفظ پاسخگویی در دست انسان‌ها در نظر گرفته شده است. در عمل ممکن است بازبینان به مدل‌ها تکیه کنند، زمان یا اطلاعات کافی نداشته باشند، یا با گسترش خودکارسازی کنار گذاشته شوند. این صفحه شرح می‌دهد کنترل‌های انسان در حلقه در خدمات مالی چگونه کار می‌کنند و چگونه ناکام می‌مانند، اثربخشی آن‌ها چگونه سنجیده می‌شود، و چه کسی تعیین می‌کند داوری انسانی کجا باید باقی بماند.

01ثبت‌خانه

Human in the loop controls on the record.

02پرسش

Human in the loop controls: how the risk develops.

اختیار و تأییدها. پرونده‌ای که در ادامه می‌آید توضیح می‌دهد ریسک چگونه شکل می‌گیرد، چه چیزی سنجیده می‌شود، داده‌ها از کجا می‌آیند، چگونه مدل‌سازی می‌شوند و چه کسی تصمیم می‌گیرد.

سازوکار

Automation bias

بازبینان وقتی با توصیهٔ یک مدل روبه‌رو می‌شوند معمولاً آن را می‌پذیرند، به‌ویژه تحت فشار زمان یا وقتی مدل غالباً درست می‌گوید. نظارت تنها در نام به تأیید بدل می‌شود.

سازوکار

Reviewers lack context

Without explanations, confidence scores and access to underlying data, reviewers cannot judge when to override, so they rarely do.

سازوکار

Accountability must stay with people

Regulations and governance assign responsibility to named individuals and boards. Delegating decisions to models does not delegate accountability.

سازوکار

Overrides teach the system

Recorded overrides, and their outcomes, show where models fail. Unrecorded overrides lose that signal and hide inconsistent human judgement.

03مواجهه، زیان و سرمایه

معنای کنترل‌های انسان در چرخه برای مواجهه، زیان و سرمایه.

نماهای مواجهه، زیان، سناریو و سرمایه که یک مدیر ریسک، ناظر یا وزارت دارایی می‌پرسد، همراه با چارچوب‌هایی که بر پایهٔ آن‌ها گزارش می‌دهد. ساختارها از رویهٔ نظارتی و اکچوئری پیروی می‌کنند. مقادیر توضیحی است: هرگز قیمت، رتبه یا توصیه نیست.

مجاری انتقال

How a shock in human in the loop controls reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
سناریوهای اقلیمی NGFS · شبکهٔ سبزسازی نظام مالیIFRS S2 افشاهای مرتبط با اقلیم · ISSBتوصیه‌های TCFD · هیئت ثبات مالی TCFDاصول مدیریت مؤثر ریسک‌های مالی مرتبط با اقلیم · کمیتهٔ بازل برای نظارت بانکی
04نشانگرها

چه چیزی اندازه‌گیری می‌شود و با چه کیفیتی.

هر نشانگر واحد، بسامد به‌روزرسانی، نوع منبع پشت آن و برچسب شواهدی را که یک مقدار می‌داشت، همراه دارد. هیچ مقداری نشان داده نمی‌شود: یک برنامه آن‌ها را تحت اختیار خود فراهم می‌کند.

نشانگرواحدتناوبنوع منبعبرچسب
Override rateshare of model recommendations overriddenماهانهسوابق تصمیممشاهده‌شده
Outcome of overridesperformance of overridden against non-overridden decisionsفصلیDecision and outcome recordsبرآوردشده
Review time per caseدقیقهماهانهWorkflow dataمشاهده‌شده
Decisions fully automatedshare of decisionsفصلیProcess recordsDECLARED
Named accountable owner per model useshare of usesسالانهسوابق حکمرانیDECLARED
Customer appeals of automated decisionsتعداد و سهم موارد تأییدشدهفصلیداده‌های شکایاتگزارش‌شده
05منابع

شواهد از کجا می‌آیند.

مجموعه‌داده‌های عمومی و سوابق نهادی نام‌برده، هر یک با ردهٔ پروانهٔ خود. منابع مبتنی بر توافق تنها بر پایهٔ شرایطشان به کار می‌روند و هرگز بازنشر نمی‌شوند.

منبعآنچه فراهم می‌کندرستهٔ پروانه
قانون هوش مصنوعی اتحادیه اروپا نظارت انسانی در قانون هوش مصنوعی اتحادیهٔ اروپا برای سامانه‌هاLegal expectations for oversight designرایگان، شرایط بازاستفادهٔ اتحادیهٔ اروپا
GDPR provisions on automated individual decision-makingRights concerning solely automated decisionsرایگان، شرایط بازاستفادهٔ اتحادیهٔ اروپا
UK Senior Managers and Certification Regime documentsپاسخگویی فردی در شرکت‌های مالی بریتانیاFree, FCA and PRA terms
Research on automation bias in decision supportEvidence on human reliance on automated adviceدسترسی آزاد برای مطالعه، شرایط استفاده بر اساس ناشر
IAIS Application Paper on the supervision of AIAccountability expectations for insurersرایگان، با شرایط IAIS
06تصمیم‌ها

چه کسی تصمیم می‌گیرد و شواهد در خدمت چیست.

هوش مصنوعی و ریسک الگوی مالی شواهد را آماده می‌کند. تصمیم‌های زیر را مراجع نام‌برده بر پایهٔ قواعد خود می‌گیرند، و هرگز سکو.

چه کسی تصمیم می‌گیردپرسششواهدی که این صفحه به آن‌ها خدمت می‌کند
Boards and senior managersکدام تصمیم‌ها باید داوری انسانی را حفظ کنند و چه کسی پاسخگوستUse risk, legal duties and override evidence
Operations leadersHow reviewers are resourced and informedWorkflow, time and override data
تنظیم‌گرانWhether oversight arrangements meet legal requirementsProcess design and outcome evidence
کارکردهای ریسک مدلHow override data feed model reviewOverride and outcome analysis

خروجی‌هایی که این موضوع تولید می‌کند

  • Guide to designing meaningful human review
  • Method note on analysing overrides and their outcomes
  • Brief on accountability when decisions are automated
  • Questions for boards on where judgement must remain human
07پرسش‌های اصلی

آنچه کارشناسان می‌پرسند.

The questions ask whether human oversight is real or nominal.

  • At which points in the process does a person review, and with what authority?
  • Do reviewers have the information and time to disagree with the model?
  • How often do reviewers override the model, and are overrides analysed?
  • Who is accountable for a decision: the model owner, the reviewer or the institution?
  • Can the process be stopped quickly if the model behaves unexpectedly?
08سازوکارها

سازوکارها و محرک‌ها.

Automation bias is the tendency to accept automated recommendations without sufficient scrutiny, especially under time pressure or when the system is usually right. It can turn human review into a formality. Conversely, inconsistent overrides can introduce bias. Effective oversight requires clear decision rights, meaningful information, training, workload that permits judgement and analysis of override patterns.

Oversight must be designed to the risk: fully automated processing may be acceptable for low-consequence decisions, while decisions with significant effects on people, or large financial exposures, call for stronger human involvement. Some legal frameworks give individuals rights in relation to solely automated decisions.

09روش‌ها و داده‌ها

چگونه مطالعه می‌شود و روش‌ها کجا متوقف می‌شوند.

روش یا دادهآنچه نشان می‌دهدمحدودیت‌ها
Process and decision-rights mappingWhere humans sit and what they can doFormal design may differ from practice
تحلیل لغو تصمیمچگونه و چرا انسان‌ها با مدل‌ها اختلاف نظر دارندRequires good logging
پژوهش عوامل انسانیAutomation bias and workload effectsLaboratory findings may not transfer
Incident reviewFailures of oversightIncidents are under-reported
10روش‌ها

چگونه مطالعه می‌شود و آنچه روش‌ها نمی‌توانند بگویند.

11متصل

جایی که این صفحه در سراسر کنسرسیوم به آن می‌رسد.

12پرسش‌ها

پرسش و پاسخ.

What is automation bias?
The tendency of people to over-rely on automated recommendations, accepting them without sufficient scrutiny even when they are wrong.
Does a human reviewer make a decision lawful?
Not by itself. Review must be meaningful, with time, information and authority to change the outcome, and legal duties still apply to the firm.
Why analyse overrides?
زیرا بسامد و پیامد آن‌ها نشان می‌دهد مدل‌ها کجا ضعیف‌اند و آیا قضاوت انسانی تصمیم‌ها را بهبود می‌دهد یا ناهمسانی می‌افزاید.
آیا بازبینی انسانی همیشه ضروری است؟
Not for every decision. The appropriate level of oversight depends on consequences, model risk and the law.
Does the platform set oversight standards?
خیر. استانداردها را قانون‌گذاران، تنظیم‌گران و نهادها تعیین می‌کنند. GRA پژوهش‌های سطح بخش را منتشر می‌کند.
گزارش‌هامشارکت

از این صفحه شواهد مشارکت دهید.

Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع می‌دانید می‌تواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.

⁨Global Risks Alliance⁩ریسک هوش مصنوعی و مدل‌های مالیروش‌ها و فنیفناوری نمایی
ریسک هوش مصنوعی و مدل‌های مالی

یک پرسش دربارهٔ مواجهه یا سرمایه را نزد اتحاد مطرح کنید.

اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.