كيف تُبنى حوكمة آمنة لأنظمة LLM قبل ربطها بالبيانات والقرارات

عندما يبدأ نظام يعتمد على نموذج لغوي كبير (LLM) في التعامل مع بيانات حقيقية أو اتخاذ قرارات مؤثرة، فإن عبارة «يعمل غالباً» لم تعد معياراً مقبولاً. تقترح مادة Stack Overflow Blog، ضمن المستوى الرابع من نموذج نضج أنظمة LLM، بناء السلامة والحوكمة في المعمارية نفسها عبر أربع ممارسات مترابطة: حواجز حماية متعددة، وضبط البيانات الشخصية عند كل حدود النظام، وسجل تدقيق غير قابل للعبث، وذاكرة مقيدة بنطاق واضح.

حواجز متعددة لا نقطة حماية واحدة

تنتقد المادة الاكتفاء بمرشح واحد لمخرجات النموذج، وتقترح جعل كل حاجز حماية عقداً برمجياً صغيراً يمكن اختباره وترتيبه بصورة مستقلة. تمر الطلبات عبر طبقات تفحص الإدخال ومحاولات حقن التعليمات، وقيود التأريض وشكل المخرجات، وتنقية النتائج من مخالفات السياسة أو البيانات الشخصية، ثم التحقق من قواعد العمل، والاستعانة بحكم ثانوي للحالات التي تبدو صحيحة لكنها خاطئة، وأخيراً تقدير الثقة وتحديد ما إذا كان القرار سينفذ أو يحتاج إلى تصعيد بشري.

القاعدة الأساسية هي «الفشل إلى الإيقاف»: إذا تعطل حاجز أو أصبح غير متاح، فلا يجوز تمرير الطلب تلقائياً. كما ينبغي تسجيل كل عملية حظر كإشارة تشغيلية؛ إذ قد تعني الزيادة المفاجئة في المؤشر هجوماً أو تراجعاً في الإصدار أو خللاً في النشر. وتشدد المادة على أن القيود الفعلية يجب أن تجعل المخرجات غير المسموح بها غير قابلة للتمثيل، بدلاً من الاكتفاء بتعليمات نصية يمكن للنموذج تجاوزها.

البيانات الشخصية تُعالج عند الحدود

كل انتقال بين مكونات النظام يمثل حدوداً أمنية: دخول البيانات، إرسالها إلى النموذج، كتابتها في السجلات أو دفتر القرارات، وتمريرها إلى خدمة أخرى. توصي المادة بتصنيف مركزي للحساسية، مع اعتبار الحقول غير المعروفة بيانات شخصية افتراضياً، ثم إزالة البيانات أو إخفاءها أو تجزئتها قبل عبور كل حد.

وفي سجل القرارات، لا ينبغي تخزين الحمولة الحساسة كاملة لإثبات ما بُني عليه القرار. البديل هو ملخص منقح مع تجزئة keyed hash باستخدام HMAC ومفتاح خاص بكل مستأجر. وتلفت المادة إلى أن استخدام SHA-256 العادي مع بيانات منخفضة العشوائية مثل البريد الإلكتروني أو رقم البطاقة يجعل التخمين العكسي ممكناً. كما يلزم اعتماد تمثيل JSON قانوني وثابت، مثل مواصفة JCS، حتى تعطي إعادة التجزئة النتيجة نفسها.

سجل تدقيق يثبت التاريخ بدلاً من مجرد حفظ السجلات

تفرق المادة بين سجلات التشغيل، التي تصلح للتصحيح وقد تُدوّر أو تكون غير منظمة، وبين دفتر تدقيق ملحق فقط يسجل كل قرار وسببه. يتضمن هذا الدفتر هوية القرار والمستأجر والصلاحيات وإصداري النموذج والموجه والقرار والثقة ومسار التوجيه، إلى جانب ملخص منقح ومدخلات مجزأة.

التصحيحات لا تعدل السجل السابق، بل تنشئ إدخالاً جديداً يشير إلى الإدخال الذي يستبدله. وللكشف عن التلاعب، ترتبط الإدخالات بسلسلة تجزئة، مع التحقق من تسلسل الأرقام واكتمالها. لكن السلسلة وحدها لا تمنع حذف الذيل أو إعادة بناء السجل بالكامل؛ لذلك تقترح المادة توقيع الإدخالات ونشر نقاط تحقق دورية في تخزين خارجي. كما يجب تنفيذ الإضافة تحت قفل لمنع عمليتي كتابة متزامنتين من إنشاء فرعين للسلسلة.

ذاكرة مصنفة وحد فاصل بين ما يُشحن وما يُكتسب

في الأنظمة متعددة المستأجرين، تصبح الذاكرة مسألة حوكمة بيانات، لا مجرد ميزة. تقترح المادة فئات منفصلة، مثل المعرفة المشتركة للمستأجر، ومساحة الوكيل، وسياق سير العمل المؤقت، وسجل التدقيق، والمعرفة الدلالية، ومحادثة المستخدم. لكل فئة نطاق وصول وسياسة حساسية ومفتاح تقسيم يُفرض عند مخزن البيانات نفسه، مع منع أي قراءة أو كتابة بين المستأجرين، وعزل محادثة مستخدم عن وكلاء اتخاذ القرار لمستخدمين آخرين.

كما تميز المادة بين البيانات الأولية التي يشحنها الفريق، مثل الموجهات والقواعد ومجموعات الاختبار وبيانات التأريض، وبيانات التشغيل التي يكتسبها النظام، مثل الذاكرة وإشارات الانحراف وسياق الجلسات. يجب أن تكون الأولى مضبوطة بالإصدارات وغير قابلة للتعديل أثناء التشغيل، بينما يمكن تنظيف الثانية ضمن نطاق محدد من دون حذف سجل التدقيق. وأي سلوك جديد مستخلص من بيانات التشغيل ينبغي أن يمر بمراجعة واختبارات قبل دمجه في إصدار لاحق؛ فالتعلم، وفق المادة، يجب أن يكون أقرب إلى طلب تغيير برمجي لا إلى أثر جانبي غير قابل للتتبع.

لماذا تهم هذه الممارسات؟

القيمة العملية للمقترح ليست في أداة منفردة، بل في توزيع الثقة على طبقات مستقلة. فتنقية المخرجات لا تعوض التحقق من قواعد العمل، وسجل التدقيق لا يبرر الاحتفاظ بالبيانات الخام، والذاكرة لا تصبح آمنة بمجرد استخدام قاعدة بيانات متجهية. القيود المفتوحة التي تظل بحاجة إلى قرار هندسي هي تحديد فئات البيانات المناسبة لكل نظام، وضبط سياسات الإقامة والوصول، وتحديد الحالات التي تستلزم مراجعة بشرية، وإثبات أن تنظيف الذاكرة لا يزيل مدخلات ضرورية لاتخاذ القرار.