Skip to content

GRA · هوش مصنوعی و ریسک الگوی مالی

مالی فضاییجایی که سرمایه به مخاطره، مواجهه و گذار برمی‌خورد

هوش مصنوعی مولد در امور مالی

نهادهای مالی از مدل‌های زبانی بزرگ برای تهیهٔ پیش‌نویس اسناد، پاسخ به مشتریان، خلاصه‌سازی پژوهش، نوشتن کد و پشتیبانی از تحلیلگران استفاده می‌کنند. هوش مصنوعی مولد خروجی روان تولید می‌کند که ممکن است نادرست باشد، داده‌ها را درز دهد و از طریق ورودی‌هایش دستکاری شود. این صفحه توضیح می‌دهد ریسک‌های هوش مصنوعی مولد در خدمات مالی چگونه پدید می‌آیند، چگونه سنجیده و کنترل می‌شوند و چه کسی دربارهٔ حدود کاربرد آن تصمیم می‌گیرد.

01بوم

چگونه کار اجرا می‌شود.

سامانه‌ها · پیرامون این موضوعتبیینی

چرخهٔ عمر ریسک الگو

هوش مصنوعی مولد در امور مالی · فهرست مدل‌ها · کمیتهٔ ۷

3 validations overdueGRA · AI and Financial Model Risk

چرخهٔ عمر

  1. سیاههثبت‌شده
  2. تدوینمستندشده
  3. اعتبارسنجیمستقل
  4. تأییدکمیته
  5. اجراکنترل‌ها
  6. پایشآستانه‌ها
  7. بازبینیسالانه
  8. بازنشسته‌سازیکنارگذاری

مدل‌ها

MD-264 PD retailردهٔ 112 ماه2معوق
MD-251 LLM complaints triageردهٔ 1هرگز0اعتبارسنجی نشده
MD-297 IFRS 9 stagingردهٔ 15 ماه2تأییدشده
MD-784 marketing propensityردیف 36 ماه1تأییدشده

دامنهٔ اعتبارسنجی

استواری مفهومی
در حال انجام
تحلیل دستاوردها
در انتظار
سنجش تطبیقی
در انتظار
حدود استفاده
بازبینی انسانی لازم است
Model risk lifecycle: the screen’s structure, terms and states for Generative AI in finance.Example names and illustrative values; a design, not a record or a live system.

شکل.چرخهٔ عمر ریسک مدل: نام‌ها و مقادیر نمونه برای توضیح، نه یک سابقهٔ واقعی و نه یک سامانهٔ فعال.

02پرسش

Generative AI in finance: how the risk develops.

Use cases and failure controls. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

سازوکار

Fluent but wrong

Models can generate plausible statements that are false, citations that do not exist or calculations that are wrong. In finance, an error in a disclosure, advice or code change can harm customers or the firm.

سازوکار

Inputs can be weaponised

Prompt injection through documents, emails or web pages can make a model ignore instructions, reveal data or take unintended actions, especially when it is connected to tools.

سازوکار

Data leaks across boundaries

Confidential information entered into external services or retrieved into answers can reach people not entitled to it. Data handling terms and access controls decide the exposure.

سازوکار

Behaviour changes with versions

Provider updates change model behaviour without the firm’s code changing. Validation done on one version may not hold for the next.

03مواجهه، زیان و سرمایه

معنای هوش مصنوعی مولد در امور مالی برای مواجهه، زیان و سرمایه.

نماهای مواجهه، زیان، سناریو و سرمایه که یک مدیر ریسک، ناظر یا وزارت دارایی می‌پرسد، همراه با چارچوب‌هایی که بر پایهٔ آن‌ها گزارش می‌دهد. ساختارها از رویهٔ نظارتی و اکچوئری پیروی می‌کنند. مقادیر توضیحی است: هرگز قیمت، رتبه یا توصیه نیست.

مجاری انتقال

How a shock in Generative AI in finance reaches credit, market, underwriting, liquidity and operational risk, and feeds back.

Channel structure after the Basel Committee’s work on climate-related risk drivers and transmission channels; links shown are typical paths, not estimated exposures.
سناریوهای اقلیمی NGFS · شبکهٔ سبزسازی نظام مالیIFRS S2 افشاهای مرتبط با اقلیم · ISSBتوصیه‌های TCFD · هیئت ثبات مالی TCFDاصول مدیریت مؤثر ریسک‌های مالی مرتبط با اقلیم · کمیتهٔ بازل برای نظارت بانکی
04نشانگرها

چه چیزی اندازه‌گیری می‌شود و با چه کیفیتی.

هر نشانگر واحد، بسامد به‌روزرسانی، نوع منبع پشت آن و برچسب شواهدی را که یک مقدار می‌داشت، همراه دارد. هیچ مقداری نشان داده نمی‌شود: یک برنامه آن‌ها را تحت اختیار خود فراهم می‌کند.

نشانگرواحدتناوبنوع منبعبرچسب
Generative AI use cases in productioncount by risk tierفصلیUse case registerDECLARED
Factual error rate on evaluation setsshare of responsesبرای هر ارزیابیInternal evaluationبرآوردشده
Prompt injection test failurescount per test cycleبه ازای هر آزمونRed-team resultsمشاهده‌شده
Data loss prevention events involving AI toolsشمارشماهانهSecurity monitoringمشاهده‌شده
شکایت‌های مشتریان مرتبط با محتوای تولیدشده با هوش مصنوعیشمارشفصلیداده‌های شکایاتگزارش‌شده
Model version changes by providersشمارشدر سالVendor noticesگزارش‌شده
05منابع

شواهد از کجا می‌آیند.

مجموعه‌داده‌های عمومی و سوابق نهادی نام‌برده، هر یک با ردهٔ پروانهٔ خود. منابع مبتنی بر توافق تنها بر پایهٔ شرایطشان به کار می‌روند و هرگز بازنشر نمی‌شوند.

منبعآنچه فراهم می‌کندرستهٔ پروانه
FSB report on the financial stability implications of AIVulnerabilities from AI adoption in financeرایگان، شرایط FSB
IOSCO report on AI use cases, risks and challengesAI use in capital marketsرایگان، شرایط IOSCO
NIST AI RMF generative AI profileRisks and actions specific to generative AIمالکیت عمومی
OWASP Top 10 برای کاربردهای مدل‌های زبانی بزرگریسک‌های امنیتی رایج در کاربردهای مدل‌های زبانی بزرگFree, CC BY-SA
Bank of England and FCA AI surveysAdoption and governance of AI in UK financeرایگان، شرایط Bank of England و FCA
06تصمیم‌ها

چه کسی تصمیم می‌گیرد و شواهد در خدمت چیست.

هوش مصنوعی و ریسک الگوی مالی شواهد را آماده می‌کند. تصمیم‌های زیر را مراجع نام‌برده بر پایهٔ قواعد خود می‌گیرند، و هرگز سکو.

چه کسی تصمیم می‌گیردپرسششواهدی که این صفحه به آن‌ها خدمت می‌کند
هیئت‌مدیره‌ها و کمیته‌های اجراییWhere generative AI may be used and with what controlsUse case risk tiers and evaluation results
Model risk and security functionsچگونه هوش مصنوعی مولد اعتبارسنجی و ایمن می‌شودEvaluation, red-team and monitoring evidence
Conduct supervisorsWhether customer-facing AI meets conduct and disclosure dutiesComplaints and outcome evidence
Procurement and legal teamsWhich providers and data terms are acceptableContract terms and data handling evidence

خروجی‌هایی که این موضوع تولید می‌کند

  • Guide to generative AI failure modes in financial services
  • Method note on evaluating factual accuracy and grounding
  • Brief on prompt injection and tool-connected assistants
  • Questions for boards on generative AI use cases
07پرسش‌های اصلی

آنچه کارشناسان می‌پرسند.

Generative AI questions start with the use case and its consequences.

  • What is the tool being used for, and what happens if its output is wrong?
  • How is the accuracy of output verified before it affects customers or decisions?
  • What data is sent to the model, and could confidential information leak?
  • How are prompts, versions and outputs logged for accountability?
  • How dependent is the institution on a single provider, and what happens if the service changes or fails?
08سازوکارها

سازوکارها و محرک‌ها.

Large language models generate text by predicting likely continuations. They can produce fluent, plausible output that is false, which matters greatly where accuracy is required. Their behaviour can change when providers update models, and they can be manipulated by crafted inputs. Their outputs are hard to test exhaustively because the space of possible inputs is vast.

Risk depends strongly on the use. Drafting an internal summary that a professional reviews carries different risk from answering customers directly or informing credit decisions. Controls therefore scale with consequence: human review, restricted data, retrieval from approved sources, testing against known cases and monitoring of outputs.

09روش‌ها و داده‌ها

چگونه مطالعه می‌شود و روش‌ها کجا متوقف می‌شوند.

روش یا دادهآنچه نشان می‌دهدمحدودیت‌ها
Use-case risk assessmentConsequences of failure by applicationInformal uses may not be captured
Evaluation against test setsAccuracy and failure rates on known casesCannot cover all real inputs
Red-teaming and adversarial testingVulnerability to manipulationFinds some weaknesses, not all
Output monitoring and loggingErrors and incidents in useDetecting subtle errors is hard
10روش‌ها

چگونه مطالعه می‌شود و آنچه روش‌ها نمی‌توانند بگویند.

11پرسش‌ها

پرسش و پاسخ.

Is a large language model a model under model risk rules?
Supervisors increasingly treat AI tools that inform decisions as models or as part of model risk, and expect firms to govern them proportionately to their use.
تزریق پرامپت چیست؟
حمله‌ای که در آن دستورهای پنهان در ورودی‌ها، مانند یک سند یا صفحهٔ وب، یک مدل زبانی را وامی‌دارد دستورهای مقصود خود را نادیده بگیرد یا اقدامات ناخواسته انجام دهد.
What is grounding?
Constraining a model’s answers to retrieved, authoritative sources and checking that statements are supported by them, to reduce fabricated content.
Why do language models produce false information?
Because they generate statistically likely text rather than retrieving verified facts. Without grounding and checks, they can produce plausible but incorrect output.
Should generative AI make credit or claims decisions?
That is for institutions and regulators to decide. Where the consequences for people are significant, strong human oversight and testing are widely expected.
Does the platform evaluate specific AI products?
No. GRA does not evaluate, rate or endorse products or vendors.
گزارش‌هامشارکت

از این صفحه شواهد مشارکت دهید.

Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع می‌دانید می‌تواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.

⁨Global Risks Alliance⁩ریسک هوش مصنوعی و مدل‌های مالیروش‌ها و فنیفناوری نمایی
ریسک هوش مصنوعی و مدل‌های مالی

یک پرسش دربارهٔ مواجهه یا سرمایه را نزد اتحاد مطرح کنید.

اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.