قدمت JetBrains Research مكتبة DPTrainer مفتوحة المصدر، بهدف تمكين تدريب نماذج المحولات على بيانات حساسة باستخدام الخصوصية التفاضلية، مع الإبقاء على حلقات التدريب المبنية على Hugging Face Trainer وواجهاته المتخصصة. وتقول الجهة إن الأداة تدمج مكتبة Opacus مع بيئة Hugging Face من دون الحاجة إلى تعديل مصدر المدرب أو إعادة بناء دورة التدريب يدوياً.
يأتي المشروع في سياق المخاوف المرتبطة بتدريب النماذج اللغوية الكبيرة على بيانات قد تتضمن معلومات شخصية أو حساسة. وتشير JetBrains Research إلى أن النماذج يمكن أن تحفظ أجزاء من بيانات التدريب وتعيد إنتاجها استجابةً لمحفزات عدائية، فيما قد تحاول هجمات استدلال العضوية تحديد ما إذا كان مثال معين موجوداً في مجموعة التدريب.
كيف تعمل الخصوصية التفاضلية هنا؟
تعتمد DPTrainer على خوارزمية DP-SGD، التي تحسب تدرجاً لكل عينة بدلاً من التعامل مع تدرج الدفعة ككل، ثم تقص التدرجات الفردية للحد من تأثير القيم الشاذة، وتجمعها قبل إضافة ضوضاء غاوسية معايرة. والهدف هو جعل مساهمة أي سجل منفرد غير قابلة للتمييز عملياً في النموذج الناتج.
تستخدم المكتبة مفهوم ميزانية الخصوصية، التي تمثل الحد النظري لمخاطر تسرب المعلومات المقبولة. ويؤكد المصدر أن استهلاك هذه الميزانية تراكمي، ما يفرض مفاضلة بين مستوى الخصوصية وأداء النموذج، لأن زيادة الخصوصية تتطلب عادةً ضوضاء أكبر في التدرجات.
ما الذي تضيفه DPTrainer إلى بيئة Hugging Face؟
تمتد DPTrainer من transformers.Trainer، وتضيف بنية PrivacyArguments لإعداد قيمة target_epsilon أو معامل الضوضاء مباشرة. وتتولى الأداة تلقائياً حساب معامل الضوضاء عند تحديد ميزانية الخصوصية وإعدادات التدريب، كما تتعقب الإنفاق على الميزانية بعد كل تحديث وتحفظ حالة المحاسب مع نقاط الاستعادة، بما يسمح باستئناف التدريب دون فقدان حالة الخصوصية.
وتشمل الوظائف الأخرى قص التدرجات الفردية باستخدام استراتيجيات مسطحة أو تكيفية أو على مستوى الطبقة، وتغليف النموذج بوحدة GradSampleModule من Opacus لحساب التدرجات لكل عينة، وإنشاء محسن متوافق مع الخصوصية، واستخدام DPDataLoader مع أخذ عينات بواسوني. كما توقف الأداة التدريب تلقائياً عند استنفاد الميزانية المحددة.
دعم المدربين المتخصصين
لا تقتصر المكتبة على المدرب الأساسي؛ إذ توفر الدالة privatize_trainer طريقة لتعديل فئات المدربين القائمة وقت التشغيل. ووفق المصدر، يمكن تطبيقها على مدربين مثل DPOTrainer لتعلم التفضيلات، وSFTTrainer للضبط بالتعليمات، وSeq2SeqTrainer، مع الاحتفاظ بمنطق الخسارة والتوليد الخاص بكل مدرب وإضافة آليات DP-SGD.
لماذا يهم هذا التطور؟
القيمة العملية للمشروع لا تكمن في تقديم مفهوم الخصوصية التفاضلية نفسه، بل في تقليص الفجوة الهندسية بينه وبين واجهات التدريب عالية المستوى. فدمج Opacus يدوياً مع Hugging Face يتطلب تعديل تغليف النموذج، وإنشاء المحسن، وتحميل البيانات، وحساب الخسارة، وإدارة نقاط الاستعادة والاستدعاءات؛ وقد يؤدي الخطأ في أي من هذه الأجزاء إلى إضعاف ضمان الخصوصية من دون ظهور المشكلة بوضوح.
مع ذلك، لا يلغي DPTrainer المفاضلة الأساسية بين الخصوصية والأداء، ولا يقدم المصدر نتائج كمية عن أثر المكتبة في دقة النماذج أو زمن التدريب أو تكلفته. كما لا يذكر تفاصيل الترخيص أو مستوى النضج التشغيلي للمشروع، وهي نقاط ينبغي للفرق التي تفكر في استخدامه مراجعتها قبل اعتماده في بيئات إنتاجية أو خاضعة للامتثال.
كيف أعددنا هذا الخبر؟
اعتمد الخبر على المصدر الأصلي الموضح أعلاه. قد نستخدم أدوات آلية للمساعدة في الاستخراج والتصنيف والصياغة،
لكن النشر يخضع لقواعد تمنع المحتوى المكرر والقصير أو الروتيني منخفض القيمة.
اقرأ سياستنا التحريرية.