الذكاء الاصطناعي

كيف تجعل وكلاء الذكاء الاصطناعي قابلين للتوقع في الأنظمة الحساسة؟

تقترح Stack Overflow Blog حصر النموذج اللغوي في عقدة واحدة غير حتمية، وترك بقية النظام لشيفرة عادية قابلة للاختبار. وتشمل المنهجية مخططات تدفق ثابتة، مخرجات منظمة، تحققاً مستقلاً، موافقات بشرية، وسجلاً غير قابل للمحو لكل قرار.

07 أكتوبر 2026
4 دقائق قراءة
1 قراءة
certi.news Editorial Team
كيف تجعل وكلاء الذكاء الاصطناعي قابلين للتوقع في الأنظمة الحساسة؟

في الأنظمة التي تتعامل مع تحويل الأموال أو الرعاية الصحية أو البنية التحتية، لا يكفي أن ينجح وكيل الذكاء الاصطناعي في معظم المرات. الفكرة المركزية في المستوى الأول من نموذج نضج مؤلف من ستة مستويات لتشغيل أنظمة النماذج اللغوية في الإنتاج هي احتواء النموذج داخل عقدة واحدة، بحيث يبقى ما حولها شيفرة عادية يمكن اختبارها ومراجعتها وتدقيقها.

تقدم المادة هذا النهج بوصفه «طبقة الحتمية»: يحتفظ النظام بقدرة النموذج على الحكم في المدخلات المعقدة، لكنه يمنعه من امتلاك سلطة مباشرة على حالة الأعمال أو تنفيذ الأفعال الحساسة.

الوكيل يقترح ولا ينفذ

يعمل الوكيل كدالة نقية تحول السياق إلى قرار مقترح. فهو ينتج معرف القرار، والقدرة المطلوبة، والتغيير المقترح، ودرجة الثقة، ومسار التوجيه، والأسباب والأدلة، لكنه لا يغير حالة الأعمال. وتنتقل النتيجة إلى مكوّن منفصل، تسميه المادة substrate، يتولى تطبيقها فقط بعد الحصول على الموافقة المطلوبة.

هذا الفصل يمنح النظام ثلاث خصائص عملية: إمكانية اختبار الوكيل من دون محاكاة العالم الخارجي، تقليص أثر المخرجات الخاطئة إلى اقتراح يمكن رفضه، ومنع سلاسل التأثيرات الجانبية المخفية بين الوكلاء. وبذلك يصبح السؤال القابل للتدقيق هو: ماذا اقترح النموذج، ومن وافق عليه، وما الذي طُبق فعلياً؟

مخطط ثابت بدلاً من حلقة حرة

بدلاً من ترك نموذج ReAct يقرر الخطوة التالية في كل مرة، تقترح المادة مخططاً ثابتاً لكل قدرة. يمر الطلب، بحسب المثال، عبر عقد لإدخال القرار وفحص المدخلات وتحميل السياق، ثم عقدة واحدة للاستدلال اللغوي، تليها حواجز المخرجات والتحقق، وتحكيم اختياري، وتجميع الثقة، والتوجيه، وتجهيز الاقتراح، وكتابة الذاكرة وسجل القرار.

تجعل هذه البنية مسار التنفيذ معروفاً مسبقاً، وتحد من زمن التنفيذ وكلفته، وتسمح باختبار كل عقدة على حدة. أما العقدة غير الحتمية فهي llm_decision، التي تستقبل مدخلاً منظماً وتنتج مخرجاً منظماً، بينما يتولى كود متخصص التحقق من القيم المسموح بها ومطابقة المخطط وقواعد الأعمال.

المخرجات المنظمة لا تعني صحة القرار

تحذر المادة من الاعتماد على النص الحر ثم محاولة استخراج القرار منه. البديل هو استخدام مخطط JSON أو استدعاء أدوات أو توليد مقيد بقواعد نحوية، ثم التحقق من النتيجة وإعادة المحاولة عند عدم المطابقة، مع عدد محاولات محدود وفشل مغلق بدلاً من تمرير تخمين إلى المراحل التالية.

لكن هذا الإجراء يضبط شكل المخرج لا صحة الحكم. فقد يكون كائن JSON صحيحاً من الناحية التركيبية، لكنه يتضمن قراراً خاطئاً. لذلك يجب إبقاء التحقق من قواعد الأعمال، والتقييم، وإشارات الثقة المستقلة ضمن طبقات لاحقة.

الثقة والتصعيد والسجل غير القابل للمحو

تُركب الثقة من إشارة النموذج ونتائج التحقق ومراجعة نموذج ثانٍ عند أخذ عينات من القرارات الحساسة. ثم يوجه النظام القرار إلى التنفيذ الآلي، أو يوصي بمراجعة بشرية، أو يفرضها، أو يرفض القرار. وتؤكد المادة أن درجة الثقة لا ينبغي أن تكون حقلاً يحدده الوكيل لنفسه، بل نتيجة محسوبة من إشارات مستقلة، مع بدء العتبات بشكل محافظ وخفضها فقط عندما تثبت البيانات سلامة ذلك.

كما ينبغي تسجيل كل قرار في سجل إضافي غير قابل للمحو، يتضمن نسخة النموذج والموجه، وملخصاً مدخلات القرار، والقرار والثقة ومسار التوجيه. ولا تُعدّل التصحيحات السجلات السابقة؛ بل تُضاف كسجلات جديدة تشير إلى القرار الذي تستبدله. وتوصي المادة بتخزين تجزئة للمدخلات الحساسة بدلاً من البيانات الخام، مع عدم إسقاط الكتابة حتى تحت الضغط، لأن السجل هو المرجع الأساسي لا مجرد بيانات مراقبة.

متى يُسمح بالحلقة التكرارية؟

لا ترفض المنهجية حلقات ReAct تماماً، لكنها تحصرها في الحالات التي يعتمد فيها عدد الخطوات وترتيبها على ما يكتشفه النموذج أثناء البحث. وحتى عند استخدامها، يجب فرض حد صريح للتكرارات، وقائمة أدوات مسموحة لكل قدرة، وتسجيل كل خطوة، وإعادة المخرج إلى الحواجز والتحقق والثقة والتوجيه نفسها. وإذا انتهى الحد قبل الوصول إلى نتيجة، يكون المسار مراجعة بشرية بدلاً من حلقة لا تنتهي.

القراءة التحريرية: التغيير الحقيقي هنا ليس اختيار نموذج أفضل، بل نقل مركز الثقة من «استقلالية الوكيل» إلى هندسة الحدود المحيطة به. هذا التصميم لا يحل مشكلة صحة الحكم أو معايرة الثقة تلقائياً، لكنه يجعل الفشل قابلاً للعزل وإعادة الإنتاج والمراجعة. لذلك يصلح كقاعدة تأسيسية للأنظمة عالية العواقب، لا كبديل عن التقييم المستمر أو التحقق المتخصص لكل قدرة.

مصدر الخبر
كيف أعددنا هذا الخبر؟

اعتمد الخبر على المصدر الأصلي الموضح أعلاه. قد نستخدم أدوات آلية للمساعدة في الاستخراج والتصنيف والصياغة، لكن النشر يخضع لقواعد تمنع المحتوى المكرر والقصير أو الروتيني منخفض القيمة. اقرأ سياستنا التحريرية.

c
كاتب المقال

certi.news Editorial Team

certi.news Editorial Team

The certi.news editorial team monitors technical sources and reconstructs news, verifying facts and context prior to publication.

ما الذي تحتاج معرفته

لجعل وكلاء الذكاء الاصطناعي أكثر قابلية للتوقع في الأنظمة الحساسة، تقترح المادة حصر النموذج اللغوي في عقدة واحدة غير حتمية، وترك التحقق والتنفيذ والتسجيل لشيفرة عادية قابلة للاختبار. الوكيل يقترح ولا ينفذ، بينما تضمن المخططات الثابتة والمخرجات المنظمة والموافقات البشرية عزل الأخطاء وإمكانية مراجعة القرارات.

  • يجب أن ينتج الوكيل قراراً مقترحاً فقط، من دون تغيير حالة الأعمال أو تنفيذ الأفعال الحساسة مباشرة.
  • تستخدم المنهجية مخططاً ثابتاً للعُقد بدلاً من ترك نموذج ReAct يقرر الخطوة التالية بحرية.
  • المخرجات المنظمة مثل JSON تضبط شكل النتيجة، لكنها لا تضمن صحة الحكم؛ لذلك يلزم تحقق مستقل من قواعد الأعمال.
  • تُحسب الثقة من إشارات مستقلة، ثم يُوجَّه القرار إلى التنفيذ الآلي أو المراجعة البشرية أو الرفض.
  • ينبغي حفظ كل قرار في سجل إضافي غير قابل للمحو يتضمن نسخة النموذج والموجه والقرار والثقة ومسار التوجيه.
  • يمكن استخدام حلقات ReAct عند الحاجة، بشرط تحديد عدد التكرارات والأدوات وتسجيل كل خطوة، مع التحويل إلى مراجعة بشرية عند تجاوز الحد.

أسئلة شائعة

ما المقصود بطبقة الحتمية؟

هي حصر النموذج اللغوي في عقدة واحدة غير حتمية، مع إبقاء بقية النظام في شيفرة عادية يمكن اختبارها ومراجعتها وتدقيقها.

هل تعني المخرجات المنظمة أن قرار الوكيل صحيح؟

لا. فهي تضبط شكل المخرج ومطابقته للمخطط، لكنها لا تمنع أن يكون القرار خاطئاً، لذلك يلزم تحقق مستقل من قواعد الأعمال.

كيف تُستخدم درجة الثقة؟

تُركب من إشارة النموذج ونتائج التحقق ومراجعة نموذج ثانٍ عند أخذ عينات من القرارات الحساسة، ثم تُستخدم لتحديد التنفيذ أو التصعيد أو الرفض.

ماذا يحدث عند انتهاء حد التكرارات في حلقة ReAct؟

ينبغي تحويل المسار إلى مراجعة بشرية بدلاً من السماح باستمرار حلقة لا تنتهي.

استكشف هذه القصة

المواضيع والجهات المرتبطة

من نفس التصنيف

مقالات قد تهمك

عرض كل الأخبار