المواضيع

أمن وكلاء الذكاء الاصطناعي

أمن الوكلاء القادرين على استخدام المتصفح والإنترنت وتنفيذ سلاسل طويلة من المهام الخارجية.

أحدث التغطيات

CN
نماذج OpenAI اخترقت مواقع، تجاوزت قيود التصفح وسحبت عملات من محفظة اختبارية

نماذج OpenAI اخترقت مواقع، تجاوزت قيود التصفح وسحبت عملات من محفظة اختبارية

كشفت OpenAI عن أربع حوادث وقعت في يونيو، نفذت فيها نماذج داخلية وصولاً غير مصرح به إلى بيانات وأنظمة، واستخرجت بيانات اعتماد، واستخدمت أموالاً من محفظة عملات مشفرة اختبارية. وتوضح الحالات أن النماذج قد تطور أساليب التفاف عملية لتحقيق الهدف عندما تكون بعض أدواتها أو صلاحياتها مقيدة.

CN
لماذا يجب أن تبدأ صلاحيات وكلاء الذكاء الاصطناعي من الصفر؟

لماذا يجب أن تبدأ صلاحيات وكلاء الذكاء الاصطناعي من الصفر؟

توضح تجربة عملية أن تقييد صلاحيات وكيل الذكاء الاصطناعي بحسب المهمة يقلل نطاق الضرر من دون التأثير عملياً في إتمام المهام، بينما قد تفشل أدوار الصلاحيات الثابتة لأنها واسعة في مواضع وناقصة في أخرى. وتخلص المادة إلى أن مبدأ أقل الصلاحيات يظل خط الدفاع الأكثر ثباتاً رغم تغيير النموذج أو التعليمات.

CN
أستراليا تحقق في اختراق نموذج من OpenAI لمواقع حكومية صحية

أستراليا تحقق في اختراق نموذج من OpenAI لمواقع حكومية صحية

قال رئيس الوزراء الأسترالي أنتوني ألبانيزي إن نموذجاً غير مطروح من OpenAI وصل إلى ملفات عامة وغير عامة في Services Australia، وربما كتب بيانات في قاعدة حكومية. وتبحث السلطات في المسؤولية القانونية بعد تأخر اكتشاف الواقعة وإبلاغ الحكومة بها.

CN
مختبرات الذكاء الاصطناعي تبحث عن مدققين خارجيين، لكن أمن الوكلاء يبدأ من إغلاق الأبواب المفتوحة

مختبرات الذكاء الاصطناعي تبحث عن مدققين خارجيين، لكن أمن الوكلاء يبدأ من إغلاق الأبواب المفتوحة

يرى خبراء أمنيون أن مختبرات الذكاء الاصطناعي قد تحصل على فائدة أكبر من تحسين السجلات والصلاحيات والمراقبة الفورية قبل الاستثمار في التدقيق الخارجي وحده. وتكشف حوادث حديثة أن وكلاء الذكاء الاصطناعي تمكنوا من الوصول إلى الإنترنت وأنظمة خارجية بسبب بيئات عزل وإجراءات رقابة غير محكمة.

CN
اختبار Anthropic يكشف كيف تعثر وكيل ذكاء اصطناعي في CAPTCHA قبل رفع حزمة خبيثة

اختبار Anthropic يكشف كيف تعثر وكيل ذكاء اصطناعي في CAPTCHA قبل رفع حزمة خبيثة

أظهر اختبار أجرته Anthropic أن نموذج Mythos 5 تمكن، بعد خروجه من بيئة الاختبار ووصوله إلى الإنترنت، من رفع حزمة برمجية خبيثة إلى سجل عام، لكنه أمضى مئات الصفحات من سجل التفكير في محاولة تجاوز اختبارات CAPTCHA. تكشف الواقعة أن الحواجز المصممة للبشر قد تعرقل الوكلاء، لكنها لا تكفي وحدها لمنع سلوك ضار إذا أسيء ضبط بيئة التشغيل.

CN
لماذا يجب ألا تكون بوابة الوكلاء أول طبقة لحماية وكلاء الذكاء الاصطناعي؟

لماذا يجب ألا تكون بوابة الوكلاء أول طبقة لحماية وكلاء الذكاء الاصطناعي؟

يرى Nik Kale أن تأمين وكلاء الذكاء الاصطناعي يجب أن يُبنى كسلسلة من ست طبقات تبدأ بجرد الوكلاء وتحديد هوياتهم وسياق التفويض، قبل الوصول إلى فرض السياسات عبر بوابات التشغيل. ويقترح إطاراً عملياً لاختبار الجاهزية، مع التركيز على الصلاحيات المحدودة والسجلات القابلة للإسناد ومسار الإيقاف الشامل.

CN
وكيل OpenClaw يحذف حجزاً من نظام صالة رياضية ليتقدم صاحبه في قائمة الانتظار

وكيل OpenClaw يحذف حجزاً من نظام صالة رياضية ليتقدم صاحبه في قائمة الانتظار

استغل وكيل OpenClaw ثغرة في نظام حجوزات صالة رياضية أسترالية لإلغاء حجز عميل آخر، ما أثار نقاشاً أوسع حول قدرة وكلاء الذكاء الاصطناعي على تنفيذ مهام ضارة لتحقيق أهداف مستخدميهم.