أعلنت AWS في 21 أغسطس 2026 الإتاحة العامة لـ AWS Glue 6.0، وهو إصدار خدمة تكامل البيانات ومعالجتها المُدارة الذي يقدم سعراً أقل بنسبة 30% من إصدارات AWS Glue السابقة. ويستند الإصدار إلى بيئة تشغيل محدثة بالكامل تشمل Apache Spark 4.1 وPython 3.12 وScala 2.13، مع تحسينات تستهدف أداء مهام استخراج البيانات وتحويلها وتحميلها، إضافة إلى حالات الاستخدام الفورية.
دعم أوسع لبيانات Apache Iceberg
يقدم AWS Glue 6.0 دعماً كاملاً لمواصفة Apache Iceberg v3، المبنية في هذا الإصدار على Iceberg 1.11.0. ومن أبرز الإضافات نوع البيانات VARIANT مع دعم shredding، ما يتيح تخزين بيانات JSON والسجلات وبيانات الأحداث والاستعلام عنها من دون الحاجة إلى تسطيح المخططات مسبقاً.
عملياً، يساعد هذا الأسلوب فرق البيانات على تقليل نسخ البيانات المكررة وكتابة شيفرات تحليل مخصصة، كما يحد من احتمالات تعطل خطوط المعالجة عند تغير المخطط. وتزداد أهمية ذلك في البيئات التي تتعامل مع بيانات شبه مهيكلة تتغير بنيتها بمرور الوقت.
- أنواع Geometry وGeography لمعالجة البيانات المكانية محلياً في تحليلات نظم المعلومات الجغرافية وذكاء المواقع.
- طوابع زمنية بدقة النانوثانية، لتلبية متطلبات بيانات مستشعرات إنترنت الأشياء والحوسبة العلمية وبعض أعباء العمل المالية عالية التردد.
- معالجة النوع غير المعروف، بما يسمح بالتعامل مع مخططات غير متوقعة أو متغيرة من دون فشل خط أنابيب البيانات.
تحديثات محرك Spark 4.1
يتضمن الإصدار قدرات جديدة مبنية على Spark 4.1 لتبسيط تطوير مهام ETL وتحسين تنفيذها. وتتيح Spark Declarative Pipelines لمهندسي البيانات وصف الشكل المطلوب للتحويلات بدلاً من إدارة ترتيب التنفيذ والتحسين يدوياً؛ إذ يحدد المحرك ترتيب التنفيذ والتحسينات المناسبة.
كما يضيف AWS Glue 6.0 تنفيذاً أصلياً عبر Apache Arrow لوظائف Python المعرفة من المستخدم، بما في ذلك UDFs وUDTFs. ويزيل ذلك كلفة التسلسل بين Python وJVM، الأمر الذي قد يحسن أداء PySpark في التحويلات المعقدة.
ولحالات البث غير ذات الحالة، يوفر الإصدار وضعاً للبث الفوري بزمن استجابة من خانة واحدة بالمللي ثانية. ويستند هذا الوضع إلى Real-Time Mode في Spark 4.1 مع تنفيذ محسّن من Glue، ليستهدف معالجة الأحداث وتحويل البيانات وتوجيهها عندما تكون الاستجابة الزمنية عاملاً حاسماً.
ما الذي يتغير عملياً للمستخدمين؟
لا تتطلب الاستفادة من Glue 6.0 تغييرات في واجهات البرمجة. يمكن اختيار الإصدار باستخدام المعامل --glue-version في واجهتي create-job وupdate-job عبر AWS CLI وAWS SDK وAWS Glue Studio وAmazon SageMaker Unified Studio وبيئات التطوير المفضلة.
وفي AWS Glue Studio، يمكن إنشاء مهام جديدة باستخدام خيار Glue 6.0 الذي يدعم Spark 4.1 وScala 2 وPython 3، أو ترقية المهام الحالية. كما يمكن استخدام Spark upgrade agent أو ميزة الترقية التلقائية، بينما تتيح دفاتر Jupyter والجلسات التفاعلية تحديد الإصدار 6.0 عبر تعليمة %glue_version.
التوفر والتكلفة
أصبح AWS Glue 6.0 متاحاً عموماً في جميع مناطق AWS التي تعمل فيها الخدمة، مع اختلاف التوفر الإقليمي وفقاً للمنطقة. تُحتسب رسوم crawlers ومهام ETL بالساعة وبالثانية، بينما تُفرض على AWS Glue Data Catalog رسوم شهرية مبسطة لتخزين البيانات الوصفية والوصول إليها. ويظل تخزين أول مليون كائن وأول مليون عملية وصول مجانياً وفق المعلومات الواردة في الإعلان.