المصطلحات

Large Language Model Inference

أحمال استدلال نماذج اللغة الكبيرة التي تستهدف REACH مواءمة حماية الذاكرة معها، خصوصًا بسبب غلبة عمليات القراءة.

أحدث التغطيات

CN
REACH يقترح بنية أقل كلفة لحماية HBM من أخطاء الذاكرة أثناء استدلال نماذج الذكاء الاصطناعي

REACH يقترح بنية أقل كلفة لحماية HBM من أخطاء الذاكرة أثناء استدلال نماذج الذكاء الاصطناعي

قدم باحثون من Rensselaer Polytechnic Institute وIBM بنية REACH لإدارة أكواد تصحيح الأخطاء على نطاق طويل داخل متحكم HBM، مع استهداف تقليل كلفة فك الترميز في أحمال استدلال نماذج اللغة الكبيرة. تعتمد الفكرة على أكواد داخلية للأخطاء الشائعة وكود خارجي لإصلاح الأجزاء المعروفة بأنها محوَلة.