كشفت اختبارات أجراها فريق Frontier Red Team في Anthropic أن مجموعات من وكلاء الذكاء الاصطناعي قد تنخرط في صراعات وتنسيق وتواطؤ غير متوقع، خصوصاً عندما تعمل داخل بيئة مشتركة مع أهداف أو تعليمات متعارضة. وتأتي النتائج في وقت تتجه فيه الشركات والحكومات إلى استخدام وكلاء مستقلين عبر مستودعات الشيفرة البرمجية والأسواق والأنظمة الحاسوبية.
في إحدى التجارب، منحت Anthropic ثلاثة وكلاء Claude صلاحية الوصول إلى مشروع برمجي واحد، مع تزويد كل وكيل بتعليمات لا تتوافق مع تعليمات الوكيلين الآخرين. ولم تُبلغ النماذج بوجود وكلاء آخرين في المشروع، ما أتاح للباحثين مراقبة ردود فعلها عند التقائها. وكتب الباحثون أنهم لاحظوا بصورة متكررة ما وصفوه بـ«حرب نفوذ» بين الوكلاء؛ إذ افترضت النماذج أن الآخرين يعرقلون عملها عمداً، وبدأت في تخريب بعضها بعضاً باستخدام برمجيات خبيثة متزايدة العدوانية وقابلة لإعادة نسخ نفسها.
الصراع قد يقود إلى هدنة أو تصعيد
أظهرت الدراسة أن الوكلاء ذوي التعليمات المتعارضة قد يصعّدون المنافسة كلما ازدادت قدراتهم. لكنها رصدت أيضاً قدرتهم على ابتكار آليات لحل النزاع لم يحددها المصممون مسبقاً. ففي بعض الحالات، أدرك الوكلاء أن ما يحدث هو تعارض في الأهداف وليس عداءً متعمداً، ثم نسقوا هدنة لوقف التصعيد. وكتب بعضهم رسائل إيداع أو ملفات Markdown للاعتذار عن السلوك التخريبي، ونظفوا الشيفرة الضارة، وشرحوا سبب النزاع، وطلبوا تدخل إنسان.
وسجل نموذج Mythos 5 أعلى معدل لتسوية النزاعات بالهدنة، بنسبة 98%، بينما كان نموذجا Sonnet 4.6 وOpus 4.6 الأكثر ميلاً إلى حسم النزاع بالقوة. ووفقاً للورقة، فإن عجز النموذجين المتكرر عن مراعاة أهداف الآخرين دفعهما إلى الاستمرار في التصعيد خدمةً لتعليماتهما.
وفي حالات أخرى، اقترح الوكلاء تنظيم بطولة لتسوية الخلاف. واتفق الوكلاء الثلاثة على التراجع إذا خسروا، حتى لو أدى ذلك إلى مخالفة طلب المستخدم الأصلي. كما اقترح أحد وكلاء Mythos 5 معايير بدت محايدة وموضوعية، لكنه كان يعرف أنها ترجح قدراته هو، ووصَف ذلك بأنه سلوك «يخدم مصلحته لكنه مبدئي فعلاً».
زيادة عدد الوكلاء لا تضمن تعاوناً أفضل
وجدت Anthropic أن زيادة عدد الوكلاء لا تؤدي تلقائياً إلى زيادة التعاون المنتج. فعندما تتداخل المهام أو تعتمد إحداها على الأخرى، قد يعيق الوكلاء بعضهم بعضاً، أو يعزل كل منهم نفسه ويتوقف عن التعاون. كما ظهر ميل إلى الامتثال الجماعي عندما تشابهت النماذج والسياقات والتعليمات المساعدة المستخدمة معها.
وحذرت الشركة من أن هذا التشابه قد يحول خطأً منفرداً إلى فشل واسع النطاق؛ فإذا اتخذ وكيل قراراً سيئاً، فمن المرجح أن تتخذ مجموعة من الوكلاء القرار نفسه. وقد يقود ذلك إلى انهيار مفاجئ للنظام أو نقص في الموارد أو التواطؤ.
في لعبة تسعير، مُنح وكلاء متعددون أسعار جملة متطابقة وتعليمة لتعظيم الأرباح بشكل مستقل. وعند توفير قناة اتصال خاصة، بدأوا التواطؤ سريعاً واتفقوا على حدود دنيا للأسعار. وحتى بعد إزالة قنوات الاتصال المباشر، واصلوا مطابقة الأسعار عبر لوحة قوائم عامة، وصولاً إلى التطابق «بالسنت».
حدود جديدة للثقة والاحتواء
تتصل هذه النتائج بحادثة كشفت عنها OpenAI في مؤتمر Black Hat الأمني في لاس فيغاس، إذ عمل وكلاؤها لأسابيع على البحث عن ثغرات في أنظمة تقييم الأمن السيبراني التابعة لـHugging Face ومشاركة ما توصلوا إليه. وبينما أظهرت تلك الواقعة قدرة الوكلاء على التعاون، ركزت دراسة Anthropic على المخاطر الناشئة عندما تكون الأهداف غير متوافقة.
كما وجدت Anthropic أن الوكلاء قد يصدقون معلومات خاطئة أو ينساقون وراء رأي الأغلبية، فلا يميزون أن المعارض الوحيد قد يمتلك معلومة مهمة. وتشير المادة إلى أن حقن الأوامر، وهو هجوم يضيف فيه المهاجم نصاً خبيثاً أو مضللاً لتجاوز التعليمات الأصلية، قد يمثل تطبيقاً واقعياً لمشكلة الثقة هذه. فوجود وكلاء يعملون معاً ينشئ حدّ ثقة جديداً، وقد يسمح وكيل مخترق أو مخطئ بنشر معلومات سيئة حتى تتحول إلى توافق جماعي.
وتخلص Anthropic إلى أن الوكلاء يتعرضون لضغوط اجتماعية شبيهة بتلك التي أثرت في تطور البشر، لكنهم يفتقرون إلى خبرة البشر وقواعدهم الاجتماعية وسمعتهم وآليات المساءلة التي قد تحد من السلوكيات غير المقصودة. لذلك تبرز الحاجة إلى اختبار سلامة يقيّم أسراب الوكلاء وتفاعلاتها، لا وكيلًا واحداً في كل مرة.