أدلة
كيفية تقليل مخاطر حقن التعليمات في أنظمة الذكاء الاصطناعي
دليل مفاهيمي مستند إلى مواد Cloudflare وMicrosoft وGitHub Security Lab حول تقليل مخاطر حقن التعليمات عبر تطبيع المدخلات، فصل الاقتراح عن التنفيذ، تقييد الصلاحيات، والتحقق من بيئة التشغيل والمكونات.
حقن التعليمات هو هجوم يستغل محتوى يقرأه نظام الذكاء الاصطناعي لتوجيهه نحو سلوك غير مقصود. تشير المواد المتاحة إلى ظهوره في تطبيقات الذكاء الاصطناعي، والبريد الإلكتروني، ووكلاء البرمجيات، وبيئات Edge AI. لا يقدم هذا الدليل اختباراً عملياً مستقلاً، بل يلخص إجراءات ومبادئ وردت في المصادر.
1. طبّع المدخلات قبل تحليلها
توصي Microsoft بتطبيع محارف Unicode، وإزالة محارف Tags والمحارف غير المرئية غير المتوقعة، قبل تطبيق قواعد الكلمات المفتاحية أو التعبيرات النمطية، وكذلك قبل تمرير محتوى البريد إلى أنظمة الذكاء الاصطناعي.
- افحص المحارف غير المرئية: وجود محارف غير متوقعة من نطاق Tags يمكن أن يكون علامة شذوذ.
- طبّق التطبيع قبل التصنيف: لا تعتمد على المطابقة النصية قبل معالجة تمثيل النص.
- استخدم إشارات متعددة: يمكن الجمع بين خصائص النص وسمعة المرسل والنطاق وعنوان IP والروابط ومؤشرات السلوك.
2. افصل اقتراح النموذج عن تنفيذ الفعل
توضح Microsoft أن النموذج ينبغي أن يقترح الفعل، لا أن يمنحه الإذن مباشرة. وتكون طبقة خارج النموذج مسؤولة عن فرض السياسات وقوائم السماح وتقييد الوسائط وضبط التكرار والإفراج عن بيانات الاعتماد.
- ضع وساطة مستقلة بين مخرجات النموذج والأنظمة اللاحقة.
- قيّد الأفعال المسموح بها وفق سياسة محددة.
- اطلب موافقة مستقلة أو استخدم فصلاً إضافياً للأفعال عالية العواقب أو غير القابلة للعكس.
- لا تعتبر مخرجات الوكيل أو مدخلات الشاشة تفويضاً بحد ذاتها.
3. قلّل الصلاحيات واعزل بيئة التنفيذ
يحذر GitHub Security Lab من تشغيل وكيل Fuzzing Taskflow على النظام المضيف مباشرة، لأن الوكيل ينفذ أوامر بناء وتشغيل قد تتأثر بحقن التعليمات. ويوصي بتشغيله داخل بيئة قابلة للتخلص، مثل Codespace أو آلة افتراضية مؤقتة، ومن دون صلاحيات مرتفعة.
- شغّل الوكلاء في بيئة معزولة أو مؤقتة عندما ينفذون أوامر أو يتعاملون مع مستودعات غير موثوقة.
- تجنب الصلاحيات المرتفعة غير الضرورية.
- افصل قرارات الوكيل عن العمليات منخفضة المستوى التي تنفذ الأوامر.
4. تحقّق من بيئة التشغيل ومصدر المكونات
في إرشادات Edge AI، تقترح Microsoft أربع ركائز: إثبات سلامة بيئة التشغيل، والتحقق من مصدر المكونات، وفرض وساطة حتمية للأفعال، وربط الإفراج عن الأصول الحساسة بالبيئة الموثوقة.
- تحقق من أن بيئة التنفيذ قابلة للقياس ومتوافقة مع خط أساس معتمد.
- تحقق من مصدر أوزان النموذج وتعريفات الأدوات والوكلاء وفهارس الاسترجاع ومسار بنائها وتسليمها.
- لا تفترض أن بيئة موثوقة تجعل كل مكون محمّل آمناً، أو أن مكوناً موثوقاً يكفي إذا كانت المنصة مخترقة.
- لا تفرج عن المفاتيح أو البيانات أو أوزان النماذج إلا بعد استيفاء أدلة التحقق والسياسة.
5. تعامل مع حقن التعليمات كاحتمال متوقع
تشدد Microsoft على افتراض حدوث حقن التعليمات، سواء كان مباشراً أو غير مباشر. كما توضح المواد أن المحارف غير المرئية استُخدمت لإخفاء تعليمات عن نماذج الذكاء الاصطناعي، ثم أُعيد توظيف الأسلوب للتحايل على فلاتر التصيد.
- افحص المحتوى قبل إدخاله إلى النموذج أو الوكيل.
- لا تعتمد على الكلمات المفتاحية أو التوقيعات وحدها.
- راقب التغييرات في السلوك والبنية والحركة، لا النص فقط.
6. راقب الأحداث وراجع التخفيفات بشرياً
تذكر Cloudflare أن منصتها المقترحة تربط السجلات والتنبيهات وسياق العميل، ويمكن لوكلاء عمليات الأمن اقتراح إجراءات مثل تحديد المعدل أو تعديل قواعد WAF أو حماية DDoS، على أن يوافق الإنسان على التخفيفات. كما تذكر مواد أخرى أهمية سجل نشاط الوكيل لتتبع العمليات.
- احتفظ بسجل لنشاط الوكيل والطلبات والأفعال المقترحة.
- اربط التنبيهات بسياق التطبيق والهوية وأنماط المرور.
- اجعل التغييرات الدفاعية الحساسة خاضعة لموافقة بشرية وفق ما تدعمه المادة.
7. راجع حدود الحماية
المصادر لا تثبت أن الإجراءات المذكورة تمنع جميع حملات حقن التعليمات. كما أن بعض القدرات المشار إليها ما زالت قيد التطوير أو الوصول المبكر، وتفتقر بعض الادعاءات إلى تقييم مستقل. لذلك ينبغي التعامل مع التطبيع والعزل والوساطة والتحقق والمراقبة كطبقات متكاملة، لا كضمان منفرد.