أعلنت AWS أن خدمة Amazon S3 Tables أصبحت تدعم جميع أنواع البيانات الواردة في مواصفة Apache Iceberg V3، ما يتيح إنشاء جداول جديدة بالإصدار V3 أو ترقية الجداول الحالية المبنية على V2. ويشمل التحديث متجهات الحذف (Deletion Vectors)، وتسلسل الصفوف (Row Lineage)، وأنواع البيانات variant وnanosecond timestamp وgeometry وgeography وunknown.
تستهدف هذه الإمكانات فرق التحليلات التي تدير جداول كبيرة على بحيرات البيانات. فبدلاً من تمثيل البيانات شبه المهيكلة أو الإحداثيات الجغرافية أو الطوابع الزمنية فائقة الدقة كسلاسل نصية أو أعداد صحيحة، يمكن تخزينها بأنواع أصلية داخل جداول Iceberg، مع استمرار استخدام ملفات Parquet على Amazon S3.
ما الذي يتغير عملياً؟
تستبدل متجهات الحذف ملفات الحذف الموضعية المستخدمة في Iceberg V2 بتمثيل ثنائي مضغوط. ووفق المثال الذي تعرضه AWS، يمكن لحذف 50 ألف سجل من جدول يضم ملياري صف أن ينتج ملف متجه حذف واحداً بدلاً من آلاف الملفات الصغيرة، ما يقلل عبء الملفات ووقت الضغط اللاحق.
أما تسلسل الصفوف، فيضيف تلقائياً الحقلين _row_id و_last_updated_sequence_number. ويمكن لخطوط المعالجة اللاحقة استخدام رقم التسلسل لاستخراج الصفوف التي تغيرت منذ نقطة تحقق سابقة، بدلاً من فحص الجدول كاملاً في كل تشغيل.
ويخزن النوع variant البيانات شبه المهيكلة بصيغة عمودية، ما يسمح لمحرك الاستعلام بقراءة الحقول المطلوبة مباشرة والاستفادة من الإحصاءات لتقليص عمليات الإدخال والإخراج، بدلاً من تحليل نصوص JSON عند كل استعلام. كما توفر Iceberg V3 أنواعاً أصلية للبيانات الجغرافية والطوابع الزمنية بدقة النانوثانية.
الترقية من Iceberg V2
يمكن ترقية جدول قائم بصورة ذرية عبر تغيير خاصية format-version إلى 3، من دون إعادة كتابة البيانات. وتواصل قارئات V2 العمل على الجداول التي تمت ترقيتها إلى حين اكتمال اعتماد V3 في البيئة، بينما تزيل S3 Tables ملفات الحذف القديمة خلال دورة الضغط التالية، وتبدأ تهيئة بيانات تسلسل الصفوف عند أول تعديل لاحق للبيانات.
لكن هذه الترقية أحادية الاتجاه؛ فمواصفة Apache Iceberg لا تدعم الرجوع من V3 إلى V2. لذلك يجب التحقق مسبقاً من أن جميع المحركات التي تصل إلى الجدول تدعم الإصدار الجديد.
التوافق والقيود
تتطلب أنواع البيانات الجديدة محركاً مبنياً على Apache Spark 4.0 أو أحدث، مثل AWS Glue 6.0 أو أحدث، أو Amazon EMR الإصدار 8.1 أو أحدث. كما تقتصر هذه الأنواع على الجداول التي تستخدم Parquet، ولا تتاح مع ORC أو Avro.
ولا يمكن استخدام أعمدة variant أو geometry أو geography أو الطوابع الزمنية بدقة النانوثانية ضمن ترتيب الجدول الخاص بالضغط، رغم أن الجداول التي تحتوي عليها تظل قابلة للضغط عندما يعتمد ترتيبها على أعمدة من أنواع أخرى. وتواصل S3 Tables إدارة الضغط والصيانة تلقائياً، مع دعم إنشاء الجداول من وحدة تحكم Amazon S3 أو AWS CLI أو أي محرك يدعم واجهة Iceberg REST Catalog.
لماذا يهم هذا التحديث؟
يمنح التحديث فرق البيانات مساراً أقل اعتماداً على التحويلات المخصصة عند التعامل مع الحذف واسع النطاق والبيانات غير المنتظمة والتحديثات التدريجية. غير أن الفائدة العملية تعتمد على جاهزية محركات الاستعلام والكتابة في المؤسسة؛ فالترقية لا تعني توافقاً فورياً لكل الأدوات، كما أن استخدام الأنواع الجديدة يقيد صيغة التخزين ويتطلب إصدارات محددة من Spark والخدمات المرتبطة به.
أصبح دعم Apache Iceberg V3 متاحاً في جميع مناطق AWS التي تدعم S3 Tables، من دون رسوم إضافية خاصة بالتحديث، مع استمرار تطبيق أسعار S3 Tables المعتادة.
كيف أعددنا هذا الخبر؟
اعتمد الخبر على المصدر الأصلي الموضح أعلاه. قد نستخدم أدوات آلية للمساعدة في الاستخراج والتصنيف والصياغة،
لكن النشر يخضع لقواعد تمنع المحتوى المكرر والقصير أو الروتيني منخفض القيمة.
اقرأ سياستنا التحريرية.