الأدوات

vLLM

أداة تشغيل وخدمة نماذج استُخدمت هنا بإعداد FP8 لتدقيق واجهة نموذج Solar-Open2-250B.

أحدث التغطيات

JetBrains تطلق Mellum2.1 كنموذج مفتوح سريع لوكلاء البرمجة

أطلقت JetBrains نموذج Mellum2.1 المفتوح بترخيص Apache 2.0، مع تركيز على تشغيل وكلاء البرمجة والوكلاء الفرعيين محلياً أو على البنية التحتية الخاصة بالمستخدم. يعتمد الإصدار على تدريب بالتعلم المعزز داخل بيئات برمجية حقيقية، مع تحسينات كبيرة في التعامل مع مستودعات الشيفرة وسرعة الاستدلال.

لماذا تحتاج «مصانع الذكاء الاصطناعي» إلى أكثر من عنقود Kubernetes؟

يرى مقال CNCF أن تشغيل بنية ذكاء اصطناعي مؤسسية لا يتمثل في نشر نموذج أو عنقود واحد، بل في إدارة أسطول مشترك من وحدات GPU لفرق متعددة مع موازنة الاستغلال والعزل والتكلفة. ويعرض المقال طبقات تقنية تشمل التزويد، والتخصيص، والجدولة، والشبكات، والتخزين، والمراقبة، والفوترة.

Perplexity وNvidia تطلقان Portable Computer لتشغيل وكلاء الذكاء الاصطناعي محلياً

أطلقت Perplexity منصة Portable Computer لتشغيل وكلائها على أجهزة المستخدمين محلياً، بدءاً من Nvidia DGX Spark وحواسيب Linux المزودة ببطاقات RTX بذاكرة لا تقل عن 24GB. يبقي النظام النماذج والملفات والعمل على الجهاز افتراضياً، مع إمكانية طلب موافقة المستخدم قبل تصعيد خطوة محددة إلى نموذج سحابي أقوى.

CohereLabs تطلق نموذج North Micro Vision مفتوح الأوزان لمعالجة الصور بدقتها الأصلية

أطلقت CohereLabs نموذج North-Micro-Vision-Instruct، وهو نموذج رؤية ولغة مفتوح الأوزان يضم 2.4 مليار مُعامل ويدعم معالجة الصور بدقتها الأصلية، مع ترخيص Apache 2.0. يستهدف النموذج تطبيقات فهم المستندات والمخططات وOCR والضبط المخصص، كما يتضمن دعماً مجتمعياً لـMLX-VLM ووصفة AutoModel للنشر على وحدات معالجة الرسوميات من NVIDIA.

AX-Ray يكشف عيوباً في التسرب السببي بنموذجين عامين للذكاء الاصطناعي

يعرض مشروع AX-Ray التابع لـVIDRAFT طريقة لتقييم النماذج تتجاوز درجات الأداء، بعدما حدد وكرر عيوباً وصفها بأنها تسرب سببي في نموذجي Zyphra/Zamba2-1.2B وnvidia/Nemotron-H-8B-Base-8K. ويضع الإطار هذه الحالات ضمن عيوب تمنع النشر، مع التمييز بينها وبين مشكلات مسار الخدمة أو واجهة برمجة التطبيقات.

Liquid AI تطرح نموذج LFM2.5-2.6B لتشغيل الوكلاء محلياً على الأجهزة

أعلنت Liquid AI إتاحة نموذجي LFM2.5-2.6B وLFM2.5-2.6B-Base على Hugging Face، مع دعم استدعاء الأدوات وسير العمل متعدد الخطوات محلياً. ويستهدف النموذج تشغيل وكلاء سريعين على الحواسيب والهواتف، مع استهلاك أقل من 2.5 غيغابايت من الذاكرة.