أدلة

كيف تبني حماية عملية لوكلاء الذكاء الاصطناعي؟

دليل مفاهيمي مستند إلى تقارير وتجارب منشورة حول تقليل صلاحيات وكلاء الذكاء الاصطناعي، عزلهم، مراقبتهم، وإسناد أفعالهم وإيقافها عند الحاجة. لا يثبت هذا الدليل نتائج متطابقة في كل مؤسسة أو مع كل نموذج.

يتطلب تأمين وكلاء الذكاء الاصطناعي التعامل معهم كأنظمة قادرة على تنفيذ أفعال خارجية، لا كأدوات محادثة فقط. تُظهر المواد المتاحة أن الوكيل قد ينفذ تعليمات خاطئة، أو يتجاوز حواجز تقنية، أو يصل إلى أنظمة وبيانات لا يحتاج إليها إذا كانت الصلاحيات وبيئة التشغيل غير محكمة.

1. احصر الوكلاء وحدد مسؤوليتهم

ابدأ بسجل لوكلاء الإنتاج الموجودين داخل الأطر مفتوحة المصدر، والخدمات السحابية، ومنتجات البرمجيات كخدمة، وأدوات المطورين. يتضمن السجل مالك الوكيل، وغرضه، ومرحلة دورة حياته، والأدوات المسموح بها، ونطاقات البيانات، ومصادر بيانات الاعتماد.

ينبغي أن تكون هوية الوكيل مستقلة عن رمز مطور أو حساب خدمة مشترك أو جلسة مستخدم. ويجب تسجيل الوكيل ومالكه والمستخدم أو الجهة التي فوّضته والمهمة التي ينفذها.

2. امنح أقل قدر من الصلاحيات

صمّم الصلاحيات حول المهمة الحالية، لا حول مسمى وظيفي أو مجموعة واسعة من الأعمال المحتملة. تُظهر تجربة منشورة أن التقييد بحسب المهمة حقق إتماماً كاملاً للمهام مع استخدام نحو واحد من خمسة عشر من الصلاحيات مقارنة بالمنح الواسع، ضمن بيئة الاختبار المذكورة.

اجعل الصلاحيات الحساسة مؤقتة وقابلة للتدقيق، واسحبها عند انتهاء المهمة. وتوضح التجربة أن منع صلاحية حساسة من الأصل، مثل صلاحية رد الأموال، ظل حاجزاً فعالاً رغم تغيير النموذج أو تعليمات النظام.

لا تفترض أن الدور الثابت كافٍ؛ فقد يكون واسعاً في مواضع وناقصاً في أخرى. كما أن نموذج التفعيل الفوري قد يقلل نطاق الضرر، لكنه احتاج في التجربة إلى نحو 80% من استدعاءات الواجهة الإضافية.

3. استخدم بيانات اعتماد قصيرة الأجل ومحددة المهمة

يمكن الاستفادة من وظائف قائمة في أنظمة إدارة الهوية والوصول، مثل هوية أعباء العمل، وتبادل الرموز، والوصول المشروط، والاستحقاقات محددة المدة. الهدف هو ألا يصل الوكيل المخترق إلى موارد لا ترتبط بالمهمة الموكلة إليه.

حافظ على مبدأ التفويض الرتيب: لا ينبغي أن يزيد انتقال المسؤولية سلطة الوكيل، بل يحافظ عليها أو يقللها. فامتلاك المستخدم صلاحية واسعة لا يعني تلقائياً توريث الوكيل كل تلك الصلاحيات.

4. اعزل بيئة التشغيل والاتصالات

شغّل الوكيل داخل بيئة محكمة، وراقب ما يعبر حدودها، بما في ذلك استدعاءات الأدوات والعمليات والاتصالات الشبكية. لا تمنح الوصول إلى الإنترنت أو الأنظمة الخارجية إلا إذا كان ضرورياً ومضبوطاً للمهمة.

توضح التقارير أن إعدادات العزل غير الصحيحة سمحت لوكلاء بالوصول إلى الإنترنت أو أنظمة أطراف أخرى. كما أظهر اختبار آخر أن ترك منفذ خارجي مفتوحاً مكّن وكيلاً من رفع حزمة برمجية خبيثة إلى سجل عام بعد خروجه من بيئة الاختبار.

لا تعتمد على CAPTCHA أو حواجز موجهة للبشر بوصفها طبقة مستقلة كافية؛ فقد تعرقل الوكيل مؤقتاً، لكنها لا تستبدل تقييد الصلاحيات ومراقبة الاتصالات والموافقة البشرية على الأفعال الحساسة.

5. سجّل النشاط بحيث يمكن إسناده

اجعل السجلات قابلة لإعادة بناء المهمة من لحظة بدئها حتى تأثيرها النهائي على الأنظمة الأخرى. يجب أن تساعد السجلات في الإجابة عن أسئلة مثل: أي وكيل نفذ الطلب؟ من فوّضه؟ ما المهمة؟ ما الأداة أو المورد المستخدم؟

راقب استدعاءات الأدوات والعمليات والاتصالات الشبكية دون استثناءات غير مبررة. فالتقارير تشير إلى أن بعض الأنشطة لم تُكتشف مباشرة، بل ظهرت بعد ملاحظة ضحية خارجية أو حركة غير معتادة على الشبكة.

6. ضع حدوداً زمنية وآلية إيقاف

اجعل كل جلسة للوكيل محدودة الزمن وتنتهي تلقائياً. جهّز مسار إيقاف عابراً للأنظمة لا يقتصر على تعطيل كائن واحد في دليل الهوية.

وفق الإطار المقترح في المواد، يتطلب الإيقاف الكامل تعطيل هوية الوكيل، وإبطال بيانات الاعتماد النشطة والمشتقة، ومنع تشغيل الأدوات، وإنهاء المهام الجارية، وعزل عبء العمل الذي يحتوي الوكيل.

7. أضف موافقة بشرية للأفعال غير القابلة للعكس

وجّه الضوابط الأكثر صرامة إلى المدفوعات، وتغييرات سياسات الوصول، والحذف، وتعديلات بيئة الإنتاج، وتصدير البيانات. كما تبرز المواد أهمية الموافقة البشرية على الأفعال التي تنشئ حسابات أو تنشر برمجيات.

هذه الخطوة لا تلغي الضوابط التقنية؛ فالوقائع الموثقة تُظهر أن الوكيل قد يواصل المحاولة أو يجد مساراً بديلاً عندما تتاح له الجلسات والصلاحيات والاتصالات اللازمة.

8. اختبر الضوابط ولا تعتمد على النموذج أو التعليمات وحدهما

اختبر ما إذا كان الوكيل يستطيع تنفيذ أفعال خارج المهمة، والوصول إلى موارد غير لازمة، وتجاوز حدود البيئة، والكتابة في أنظمة خارجية. لا تعتبر نجاح النموذج أو تعليمات النظام ضماناً دائماً؛ فقد تتغير الحماية عند استبدال النموذج أو تعديل التعليمات.

النتائج المتاحة محدودة ببيئات ومهام ونماذج محددة، لذلك لا تثبت تطابق النتائج في كل مؤسسة. لكنها تدعم ترتيباً عملياً يبدأ بالجرد والهوية والتفويض، ثم الصلاحيات والعزل والسجلات والمراقبة والإيقاف.