Une mise à jour complète des data lakes
Amazon Web Services (AWS) a annoncé le lancement d'une nouvelle fonctionnalité visant à simplifier le processus de mise à jour des data lakes, en proposant désormais un service de migration gérée (Managed Migration) des tables Apache Hive vers les tables Apache Iceberg au sein du service Amazon S3 Tables. Cette étape vise à aider les organisations à passer au standard ouvert Iceberg sans avoir besoin de construire des pipelines de données ou de fournir des ressources de calcul supplémentaires.
Qu'est-ce qui change concrètement ?
Auparavant, le processus de migration des tables Hive vers Iceberg nécessitait des semaines de travail d'ingénierie manuel, incluant la gestion de l'infrastructure, la conversion des types de données et la garantie de la possibilité d'annuler les opérations. Le nouveau service transforme ce parcours en un processus entièrement géré basé sur des interfaces de programmation d'applications (API), où S3 Tables prend en charge les tâches suivantes :
- Vérification de la compatibilité des données et réalisation des contrôles nécessaires.
- Conversion des types de données et compression des fichiers.
- Gestion automatique des processus de compaction (Compaction).
- Génération de rapports de compatibilité précis avant le début du transfert de données.
Le service permet aux utilisateurs de synchroniser les données plusieurs fois sans avoir besoin d'interrompre les opérations d'écriture sur la table source, ce qui réduit le temps d'arrêt (Downtime) à seulement quelques minutes lors de la phase de transition finale.
Pourquoi cette nouvelle est-elle importante ?
Apache Iceberg est considéré comme le standard industriel actuel pour la gestion de grands ensembles de données analytiques, offrant des fonctionnalités telles que l'évolution du schéma (Schema Evolution), le partitionnement caché (Hidden Partitioning) et les requêtes de voyage dans le temps (Time Travel). En intégrant cette fonctionnalité dans S3 Tables, AWS offre aux utilisateurs un accès direct à ces fonctionnalités tout en bénéficiant d'un stockage géré comprenant la maintenance automatique, l'optimisation et la classification intelligente des données (S3 Intelligent-Tiering).
Disponibilité et limitations
Le service est actuellement disponible dans des régions spécifiques comprenant les États-Unis (Virginie du Nord, Ohio, Oregon), l'Asie-Pacifique (Mumbai, Singapour, Sydney, Tokyo) et l'Europe (Francfort, Irlande, Stockholm). Lors de la phase de lancement, la fonctionnalité prend en charge les tables Hive enregistrées dans AWS Glue et stockées au format Parquet au sein du même compte et de la même région géographique.
Les utilisateurs peuvent effectuer les migrations via la console S3, en utilisant l'interface de ligne de commande (AWS CLI), ou via des outils d'intelligence artificielle tels que l'Agent Toolkit for AWS qui fournit des instructions étape par étape pour garantir l'intégrité du processus de migration.