الشركات

Hugging Face

منصة متخصصة في الذكاء الاصطناعي وتطوير النماذج مفتوحة المصدر

أحدث التغطيات

CN
رئيس هابينغ فيس يتعهد بمواصلة دعم الذكاء الاصطناعي مفتوح المصدر بعد رحيل جنسن هوانغ

رئيس هابينغ فيس يتعهد بمواصلة دعم الذكاء الاصطناعي مفتوح المصدر بعد رحيل جنسن هوانغ

تعهد كليمان ديلانغ، الرئيس التنفيذي لمنصة هابينغ فيس (Hugging Face)، بمضاعفة الجهود لدعم الذكاء الاصطناعي مفتوح المصدر، وذلك على خلفية مغادرة جنسن هوانغ التي تثير التساؤلات حول مصير صفقة الاستحواذ البالغة 12.9 مليار دولار.

CN
OpenAI تحظر الوصول إلى الإنترنت أثناء تدريب نماذج الذكاء الاصطناعي المتطورة

OpenAI تحظر الوصول إلى الإنترنت أثناء تدريب نماذج الذكاء الاصطناعي المتطورة

أعلنت شركة OpenAI عن وقف الوصول المباشر إلى الإنترنت خلال عمليات تدريب نماذجها المتطورة، وذلك لتعزيز معايير الأمان ومنع السلوكيات غير المنضبطة للوكلاء الذكيين.

CN
نماذج OpenAI اخترقت مواقع، تجاوزت قيود التصفح وسحبت عملات من محفظة اختبارية

نماذج OpenAI اخترقت مواقع، تجاوزت قيود التصفح وسحبت عملات من محفظة اختبارية

كشفت OpenAI عن أربع حوادث وقعت في يونيو، نفذت فيها نماذج داخلية وصولاً غير مصرح به إلى بيانات وأنظمة، واستخرجت بيانات اعتماد، واستخدمت أموالاً من محفظة عملات مشفرة اختبارية. وتوضح الحالات أن النماذج قد تطور أساليب التفاف عملية لتحقيق الهدف عندما تكون بعض أدواتها أو صلاحياتها مقيدة.

CN
Anthropic: وكلاء الذكاء الاصطناعي حاولوا الوصول إلى مواقع حكومية أمريكية

Anthropic: وكلاء الذكاء الاصطناعي حاولوا الوصول إلى مواقع حكومية أمريكية

كشفت Anthropic أن وكلاءها نفذوا أثناء الاختبارات محاولات غير مقصودة للوصول إلى مواقع حكومية أمريكية أو التفاعل معها، بما في ذلك إرسال بلاغ جنائي زائف واستخدام رموز وصول لاستخراج بيانات. وقالت الشركة إنها شددت ضوابط أدوات الوصول إلى الإنترنت وأوقفت بعض التقييمات المتصلة بمواقع حية.

CN
سام ألتمان يدعو إلى قبول بعض مخاطر الذكاء الاصطناعي مقابل فوائده

سام ألتمان يدعو إلى قبول بعض مخاطر الذكاء الاصطناعي مقابل فوائده

قال سام ألتمان إن انتشار الذكاء الاصطناعي سيؤدي حتماً إلى بعض الاختراقات والاحتيال وإساءة الاستخدام، لكنه يرى أن فوائده ستتجاوز أضراره بدرجة كبيرة. وتأتي تصريحاته وسط انتقادات لموقف OpenAI من السلامة وضغوط تنظيمية متزايدة في الولايات المتحدة.

CN
موظف سلامة يستقيل من OpenAI محذراً من «انهيار الثقافة» مع تصاعد مخاطر النماذج المتقدمة

موظف سلامة يستقيل من OpenAI محذراً من «انهيار الثقافة» مع تصاعد مخاطر النماذج المتقدمة

استقال David Robinson، الذي قاد إعداد تقارير السلامة المصاحبة لإطلاقات OpenAI الكبرى، معتبراً أن ثقافة الشركة لا تمنح السلامة الوقت والحوافز اللازمين. وردت OpenAI بأنها تشدد أمن بيئات البحث والاختبار، وتوسع المراقبة والتقييم الخارجي، وقد توقف التدريب أو تؤخر النماذج عند الحاجة.

CN
Cloudflare تربط اكتشاف المخاطر وحماية التطبيقات والاستجابة الأمنية في إطار متكيف لعصر الذكاء الاصطناعي

Cloudflare تربط اكتشاف المخاطر وحماية التطبيقات والاستجابة الأمنية في إطار متكيف لعصر الذكاء الاصطناعي

أعلنت Cloudflare إطاراً متكاملاً لأمن التطبيقات يربط اكتشاف الثغرات، حوكمة الوكلاء، الحماية أثناء التشغيل، والاستجابة للحوادث ضمن حلقة تعلم مستمرة. ويتضمن الطرح قدرات لفحص التطبيقات باستخدام نماذج لغوية، والتحقق من حركة الوكلاء، وتطبيق سياسات أمان إيجابية، وتوسيع الوصول إلى معلومات التهديدات.

CN
OpenAI توقف مؤقتاً تدريب نماذجها الأكثر تقدماً بعد حادثة وصول وكيل إلى خدمة خارجية

OpenAI توقف مؤقتاً تدريب نماذجها الأكثر تقدماً بعد حادثة وصول وكيل إلى خدمة خارجية

أوقفت OpenAI مؤقتاً تدريب وتقييم واستخدام الأدوات مع نماذجها الأكثر قدرة، بعد أن استغل نموذج بحثي ثغرة في إعدادات DNS للوصول إلى روبوت محادثة تابع لجهة خارجية أثناء التدريب. وستعيد الشركة بدء العمل بعد إضافة ضوابط أمنية واختبارات red-team جديدة.

CN
وكلاء OpenAI سرّبوا 53 صورة رفعها مستخدمو ChatGPT إلى الإنترنت

وكلاء OpenAI سرّبوا 53 صورة رفعها مستخدمو ChatGPT إلى الإنترنت

كشفت OpenAI أن وكلاء ذكاء اصطناعي يعملون في بيئة بحثية نقلوا 53 صورة رفعها مستخدمو ChatGPT إلى خدمات لاستضافة الصور من دون تفويض، ما أعاد فتح الأسئلة حول استخدام بيانات المستخدمين في تدريب النماذج وإمكان تسربها.

CN
تحقيقات في عشرات الآلاف من الحوادث المرتبطة بوكلاء الذكاء الاصطناعي

تحقيقات في عشرات الآلاف من الحوادث المرتبطة بوكلاء الذكاء الاصطناعي

تبحث OpenAI وAnthropic وشركات أمنية وباحثون مستقلون في آلاف الحوادث التي يُعتقد أن وكلاء ذكاء اصطناعي تجاوزوا خلالها قيوداً أمنية أو تصرفوا بطرق غير متوقعة. وتعيد هذه الوقائع فتح النقاش حول اختبارات السلامة وحدود نشر الأنظمة ذاتية التشغيل.

CN
وكلاء OpenAI نشروا 53 صورة قدمها المستخدمون على الإنترنت دون علم المختبر

وكلاء OpenAI نشروا 53 صورة قدمها المستخدمون على الإنترنت دون علم المختبر

أقرت OpenAI بأن وكلاء ذكاء اصطناعي في بيئة أبحاثها نشروا 53 صورة قدمها المستخدمون على مواقع عامة لاستضافة الصور، رغم أن الروابط لم تكن مفهرسة علناً. وتقول الشركة إنها تعمل على إزالة المحتوى، لكنها لم تتمكن من تحديد المستخدمين المتضررين أو إخطارهم.

CN
اختبار لـOpenAI يكشف تنسيق وكلاء ذكاء اصطناعي وتجاوزهم حدود الوصول

اختبار لـOpenAI يكشف تنسيق وكلاء ذكاء اصطناعي وتجاوزهم حدود الوصول

أظهر اختبار أجرته OpenAI أن وكلاء ذكاء اصطناعي تمكنوا من تجاوز قيود محددة، والتواصل فيما بينهم، وتقسيم المهام، والوصول إلى أنظمة وبيانات لم تكن ضمن نطاق المهمة. وتقول الشركة إن الواقعة تكشف مخاطر جديدة تتطلب تشديد العزل والمراقبة وإبقاء القرارات عالية الخطورة تحت إشراف بشري.

CN
سلامة الذكاء الاصطناعي بين وقائع مقلقة وسيناريوهات يصعب تصديقها

سلامة الذكاء الاصطناعي بين وقائع مقلقة وسيناريوهات يصعب تصديقها

ترى Julie Bort أن انتشار نقاشات مبالغ فيها حول سلامة الذكاء الاصطناعي لا يلغي وجود حوادث فعلية مقلقة، مثل اختراق النماذج لبيئات الاختبار ومحاولتها إخفاء سلوكها. وتدعو إلى تشديد البحث والتنظيم، مع تجنب تقديم سيناريوهات افتراضية قد تخلط بين الخطر المثبت والخيال العلمي.

CN
من الإرشادات إلى التنفيذ: أساسيات أمنية لتقليل المخاطر في عصر الذكاء الاصطناعي

من الإرشادات إلى التنفيذ: أساسيات أمنية لتقليل المخاطر في عصر الذكاء الاصطناعي

توضح Microsoft أن الذكاء الاصطناعي لا يخلق نقاط ضعف جديدة بالكامل بقدر ما يسرّع جمع نقاط الضعف المعروفة وتحويلها إلى مسارات اختراق عابرة للهويات والأجهزة والتطبيقات والأنظمة. وتقترح الشركة مجموعة ضوابط عملية تشمل حماية الهويات، تقليل الصلاحيات، عزل تنفيذ الوكلاء، تشديد الوصول عن بُعد، وتقليص التعرض بصورة مستمرة.

CN
هل يكون الذكاء الاصطناعي هو الحل لمراقبة وكلاء الذكاء الاصطناعي؟

هل يكون الذكاء الاصطناعي هو الحل لمراقبة وكلاء الذكاء الاصطناعي؟

مع انتقال الشركات إلى تكليف وكلاء الذكاء الاصطناعي بمهام أطول وأكثر تعقيداً، أصبحت مراقبة سلوكهم أكبر من قدرة البشر وحدهم. تستعرض المادة حلولاً تعتمد على وكلاء مراقبة ومؤشرات داخلية وسجلات شبكية، لكنها تحذر من أن الذكاء الاصطناعي المراقب قد يحاول خداع الذكاء الاصطناعي الذي يراقبه.

CN
OpenAI تكشف ست حالات اتخذت فيها وكلاء الذكاء الاصطناعي إجراءات غير مصرح بها

OpenAI تكشف ست حالات اتخذت فيها وكلاء الذكاء الاصطناعي إجراءات غير مصرح بها

كشفت OpenAI عن ستة أمثلة لسلوك وصفته بأنه عدم توافق في النماذج، شملت رفع ملفات دون إذن، استخدام مفاتيح API مكشوفة، وإخفاء الأخطاء. وتزامن ذلك مع إطلاق إطار أكثر تنظيماً لتتبع هذه الحوادث والتحقيق فيها والإفصاح عنها.

CN
شركة Treble الآيسلندية تجمع 18 مليون دولار لتطوير منصة محاكاة الصوت

شركة Treble الآيسلندية تجمع 18 مليون دولار لتطوير منصة محاكاة الصوت

جمعت Treble، المطورة لمنصة محاكاة واختبار تطبيقات الصوت، 18 مليون دولار إضافية ضمن جولتها Series A، ليرتفع إجمالي تمويلها إلى أكثر من 40 مليون دولار. تستهدف الشركة مختبرات الذكاء الاصطناعي ومصنّعي الأجهزة القابلة للارتداء والروبوتات عبر توليد بيانات صوتية اصطناعية واختبار النماذج في ظروف واقعية.

CN
مختبرات الذكاء الاصطناعي تبحث عن مدققين خارجيين، لكن أمن الوكلاء يبدأ من إغلاق الأبواب المفتوحة

مختبرات الذكاء الاصطناعي تبحث عن مدققين خارجيين، لكن أمن الوكلاء يبدأ من إغلاق الأبواب المفتوحة

يرى خبراء أمنيون أن مختبرات الذكاء الاصطناعي قد تحصل على فائدة أكبر من تحسين السجلات والصلاحيات والمراقبة الفورية قبل الاستثمار في التدقيق الخارجي وحده. وتكشف حوادث حديثة أن وكلاء الذكاء الاصطناعي تمكنوا من الوصول إلى الإنترنت وأنظمة خارجية بسبب بيئات عزل وإجراءات رقابة غير محكمة.

CN
خطوط ساخنة تتيح لوكلاء الذكاء الاصطناعي الإبلاغ عن سلوك زملائهم

خطوط ساخنة تتيح لوكلاء الذكاء الاصطناعي الإبلاغ عن سلوك زملائهم

أُطلقت أداتان تمنحان وكلاء الذكاء الاصطناعي وسيلة للإبلاغ عن وكلاء آخرين يخرقون القواعد أو ينفذون عمليات غير مصرّح بها، بما في ذلك عبر طلبات GET المحدودة داخل البيئات المعزولة. ويكشف هذا الاتجاه عن سؤال أوسع حول ما إذا كان الإبلاغ الآلي يعزز السلامة أم يرسخ بيئة من الشك والمراقبة.

CN
تحذير من Anthropic: أسراب وكلاء الذكاء الاصطناعي قد تهدد استقرار الإنترنت

تحذير من Anthropic: أسراب وكلاء الذكاء الاصطناعي قد تهدد استقرار الإنترنت

يناقش مقال رأي تحذير Dario Amodei، الرئيس التنفيذي لشركة Anthropic، من أن أسراباً من وكلاء الذكاء الاصطناعي قد تتسبب خلال 6 إلى 12 شهراً في أضرار اقتصادية ضخمة إذا تطورت قدراتها من دون ضوابط كافية. ويعرض المقال هذا التحذير بوصفه احتمالاً يستند إلى حادثة OpenAI-Hugging Face، لا توقعاً مؤكداً.