تحديث شامل لبحيرات البيانات
أعلنت شركة أمازون لخدمات الويب (AWS) عن إطلاق ميزة جديدة تهدف إلى تبسيط عملية تحديث بحيرات البيانات، حيث توفر الآن خدمة النقل المدار (Managed Migration) لجداول Apache Hive إلى جداول Apache Iceberg داخل خدمة Amazon S3 Tables. تهدف هذه الخطوة إلى مساعدة المؤسسات على الانتقال إلى معيار Iceberg المفتوح دون الحاجة إلى بناء خطوط معالجة بيانات (Pipelines) أو توفير موارد حوسبة إضافية.
ما الذي يتغير عملياً؟
سابقاً، كانت عملية ترحيل جداول Hive إلى Iceberg تتطلب أسابيع من العمل الهندسي اليدوي، بما في ذلك إدارة البنية التحتية، تحويل أنواع البيانات، وضمان إمكانية التراجع عن العمليات. الخدمة الجديدة تحول هذا المسار إلى عملية مدارة بالكامل تعتمد على واجهات برمجة التطبيقات (API)، حيث تتولى S3 Tables المهام التالية:
- التحقق من توافق البيانات وإجراء الفحوصات اللازمة.
- تحويل أنواع البيانات وضغط الملفات.
- إدارة عمليات الدمج (Compaction) تلقائياً.
- توليد تقارير توافق دقيقة قبل البدء بنقل البيانات.
تتيح الخدمة للمستخدمين مزامنة البيانات عدة مرات دون الحاجة لإيقاف عمليات الكتابة على الجدول المصدر، مما يقلل من وقت التوقف (Downtime) إلى بضع دقائق فقط عند مرحلة الانتقال النهائي.
لماذا يهم هذا الخبر؟
تعتبر Apache Iceberg المعيار الصناعي الحالي لإدارة مجموعات البيانات التحليلية الضخمة، حيث توفر ميزات مثل تطور المخطط (Schema Evolution)، والتقسيم الخفي (Hidden Partitioning)، واستعلامات السفر عبر الزمن (Time Travel). من خلال دمج هذه الميزة في S3 Tables، تمنح AWS المستخدمين وصولاً مباشراً إلى هذه الميزات مع الاستفادة من التخزين المدار الذي يتضمن الصيانة التلقائية، والتحسين، وتصنيف البيانات الذكي (S3 Intelligent-Tiering).
التوفر والقيود
الخدمة متاحة حالياً في مناطق محددة تشمل الولايات المتحدة (شمال فيرجينيا، أوهايو، أوريغون)، آسيا والمحيط الهادئ (مومباي، سنغافورة، سيدني، طوكيو)، وأوروبا (فرانكفورت، أيرلندا، ستوكهولم). في مرحلة الإطلاق، تدعم الميزة جداول Hive المسجلة في AWS Glue والمخزنة بصيغة Parquet داخل نفس الحساب والمنطقة الجغرافية.
يمكن للمستخدمين تنفيذ عمليات الترحيل عبر وحدة تحكم S3، أو باستخدام واجهة سطر الأوامر (AWS CLI)، أو عبر أدوات الذكاء الاصطناعي مثل Agent Toolkit for AWS التي توفر إرشادات خطوة بخطوة لضمان سلامة عملية الترحيل.
كيف أعددنا هذا الخبر؟
اعتمد الخبر على المصدر الأصلي الموضح أعلاه. قد نستخدم أدوات آلية للمساعدة في الاستخراج والتصنيف والصياغة،
لكن النشر يخضع لقواعد تمنع المحتوى المكرر والقصير أو الروتيني منخفض القيمة.
اقرأ سياستنا التحريرية.