تشغيل استدلال الذكاء الاصطناعي على الجهاز أو بالقرب منه بدلاً من الاعتماد الكامل على خدمة سحابية مركزية.
توضح Microsoft أن تشغيل الذكاء الاصطناعي على أجهزة وبيئات يملكها العميل يغيّر نموذج الثقة، لأن النماذج والبيانات والمفاتيح تعمل خارج سيطرة مزود الخدمة المباشرة. وتقترح أربع ركائز: إثبات سلامة بيئة التشغيل، والتحقق من مصدر المكونات، وفرض وساطة حتمية على أفعال النموذج، وعدم الإفراج عن الأصول الحساسة إلا بعد استيفاء الأدلة والسياسات.
يحلل شاراد تشول من Expedera كيف يغيّر انتقال الأجهزة الطرفية من شبكات الرؤية التقليدية إلى نماذج LLM وVLM طبيعة الاختناق من القدرة الحسابية إلى حركة الذاكرة. ويعرض دور المعالجة القائمة على الحزم في خفض نقل البيانات الخارجية وتحسين تشغيل النماذج داخل السيارات والأجهزة المضمنة.
استعرضت NVIDIA قدرات منصّة Jetson في تشغيل الذكاء الاصطناعي والروبوتات على الحافة، بدءاً من Jetson Orin Nano Super للمشروعات الأولى وصولاً إلى Jetson AGX Thor للأحمال الأكثر تعقيداً. ويعرض منشور الشركة أمثلة تطبيقية تشمل القيادة الذاتية والمساعدات الصوتية والروبوتات متعددة الوسائط.