القسم ٤
٤المشهد التنظيمي ومشهد التهديدات
التبعات المالية والتنظيمية للذكاء الاصطناعي غير المحكوم كبيرة. فبموجب قانون الذكاء الاصطناعي الأوروبي تتناسب الغرامات مع حجم الأعمال العالمي، ما يجعل أداة غير مُفصَح عنها تقع ضمن فئة محظورة أو عالية المخاطر مسؤوليةً على مستوى مجلس الإدارة لا مجرد حادثة تقنية.
| فئة المخالفة | وصف المخالفة | الحد الأقصى للغرامة |
|---|---|---|
| الممارسات المحظورة (المادة 5) | تقنيات لاواعية، استغلال نقاط الضعف، تصنيف بيومتري غير مصرّح به | 35 مليون يورو أو 7% من الإيرادات العالمية، أيهما أعلى |
| عدم امتثال الأنظمة عالية المخاطر (6–49) | غياب إدارة المخاطر أو حوكمة البيانات أو الإشراف البشري | 15 مليون يورو أو 3% من الإيرادات العالمية، أيهما أعلى |
| معلومات مضللة | تقديم معلومات غير صحيحة أو مضللة للجهات التنظيمية | 7.5 مليون يورو أو 1% من الإيرادات العالمية، أيهما أعلى |
الجدول ٢. فئات المخالفات في قانون الذكاء الاصطناعي الأوروبي والحد الأقصى للغرامات.
وقد تغيّر الجدول الزمني منذ ذلك الحين؛ إذ يؤجّل «الحزمة الرقمية الشاملة للذكاء الاصطناعي» — اللائحة (EU) 2026/1744 النافذة منذ 27 يوليو 2026 — التزامات الأنظمة عالية المخاطر المستقلة (الملحق الثالث) إلى 2 ديسمبر 2027، والأنظمة المدمجة في المنتجات المنظَّمة (الملحق الأول) إلى 2 أغسطس 2028. وتظل التزامات الشفافية وفق المادة 50 سارية منذ 2 أغسطس 2026، ويسري حظر جديد في المادة 5 على الصور الحميمة غير الرضائية المولّدة آلياً ومواد الاعتداء على الأطفال اعتباراً من 2 ديسمبر 2026. وتبقى سقوف الغرامات أعلاه دون تغيير؛ فالتأجيل يمنح وقتاً للاستعداد لا إعفاءً.
ويرسم تصنيف OWASP لأهم عشر مخاطر في تطبيقات النماذج اللغوية سطح التهديد التقني؛ إذ تقابل كل فئة مسار انكشاف تفتحه الأدوات الخفية افتراضياً، من حقن الأوامر وتسريب المعلومات الحساسة إلى الصلاحيات المفرطة وهجمات «استنزاف الميزانية».
نصّ هذا الشكل
المدخلات · LLM01 · حقن الأوامر · المخرجات · LLM02 · كشف المعلومات الحساسة · LLM05 · معالجة غير سليمة للمخرجات · LLM07 · تسريب أمر النظام · النموذج · LLM03 · سلسلة التوريد · LLM04 · تسميم البيانات والنموذج · LLM08 · ضعف المتجهات والتضمين · الصلاحيات · LLM06 · صلاحيات مفرطة · LLM09 · المعلومات المضللة · LLM10 · استهلاك غير محدود
| خطر OWASP | وصف الثغرة | الأثر الأمني على المؤسسة |
|---|---|---|
| LLM01 · حقن الأوامر | مدخلات عدائية مباشرة أو غير مباشرة تتجاوز أوامر النظام | تجاوز ضوابط الأمان وأوامر غير مصرّح بها وشيفرة خبيثة في بيئة المطوّر |
| LLM02 · كشف المعلومات الحساسة | تسريب خوارزميات مملوكة أو بيانات شخصية أو تفاصيل المعمارية عبر المخرجات | كشف الأسرار المؤسسية وإهدار الملكية الفكرية وغرامات تنظيمية |
| LLM03 · سلسلة التوريد | اختراق نماذج أو بيانات تدريب خارجية أو إضافات متوهَّمة | أبواب خلفية صامتة ومنطق متحيّز واختراقات واسعة من المنبع |
| LLM04 · تسميم البيانات والنموذج | تلاعب متعمد ببيانات التدريب أو الضبط الدقيق أو المتجهات | تدهور انتقائي ومخرجات ضارة أو تفعيل «عميل نائم» خفي |
| LLM05 · معالجة غير سليمة للمخرجات | تمرير المخرجات دون تحقق أو تعقيم أو ترميز | ثغرات ويب تقليدية: XSS وSSRF وتنفيذ الشيفرة عن بُعد |
الجدول ٣. أهم عشر مخاطر OWASP لتطبيقات النماذج اللغوية: الثغرة وأثرها على المؤسسة (LLM01–LLM05).
| خطر OWASP | وصف الثغرة | الأثر الأمني على المؤسسة |
|---|---|---|
| LLM06 · صلاحيات مفرطة | صلاحيات واسعة لاستدعاء الواجهات وقواعد البيانات دون إشراف بشري | وكلاء منحرفون يحذفون بيانات الإنتاج أو يعدّلون ضوابط الوصول |
| LLM07 · تسريب أمر النظام | كشف التعليمات التي تحدد حدود عمل النموذج | هندسة عكسية للدفاعات وسرقة الأوامر وصياغة ثغرات تجاوز |
| LLM08 · ضعف المتجهات والتضمين | عيوب في التوليد أو التخزين أو الاسترجاع ضمن RAG | قواعد متجهات مسمومة تقدّم سياقاً وتعليمات خبيثة |
| LLM09 · المعلومات المضللة | يولّد النموذج مخرجات واثقة لكنها خاطئة يقبلها المستخدمون دون تحقق | شيفرة غير آمنة في الإنتاج ومحتوى تشهيري ومسؤولية قانونية |
| LLM10 · استهلاك غير محدود | إغراق الاستدلال المكلف لإنهاك الخدمات (استنزاف الميزانية) | قفزات في الفواتير واستنزاف السحابة وبطء تشغيلي حاد |
الجدول ٣ (تابع). LLM06–LLM10. المصدر: OWASP.
تلميح: استخدم ← → للتنقل بين الأقسام.