مرحلة توليد الرموز في نماذج المحولات، وتصبح فيها حركة الذاكرة وقراءة KV cache عوامل أداء رئيسية.
تتجه مراكز البيانات إلى عناقيد غير متجانسة تجمع بين CPUs وGPUs وNPUs والمسرّعات المخصصة والربط البصري، بدلاً من الاعتماد على GPU واحد لكل المهام. ويجعل هذا التحول البرمجيات وإدارة الشبكات والطاقة عوامل حاسمة لخفض تكلفة الرموز وتحسين الاستفادة من العتاد.
جمعت شركة Etched الناشئة 700 مليون دولار بتقييم بلغ 21 مليار دولار، بعد اختبار Jane Street أول نظام ذكاء اصطناعي كامل شحنته الشركة وشراء النظام لتشغيله في مركز بياناتها. ويعكس التمويل الرهان على تصميمات الشركة لتسريع استدلال نماذج الذكاء الاصطناعي وخفض تكلفته.
يحلل شاراد تشول من Expedera كيف يغيّر انتقال الأجهزة الطرفية من شبكات الرؤية التقليدية إلى نماذج LLM وVLM طبيعة الاختناق من القدرة الحسابية إلى حركة الذاكرة. ويعرض دور المعالجة القائمة على الحزم في خفض نقل البيانات الخارجية وتحسين تشغيل النماذج داخل السيارات والأجهزة المضمنة.