Actualización integral de los lagos de datos
Amazon Web Services (AWS) ha anunciado el lanzamiento de una nueva característica destinada a simplificar el proceso de modernización de los lagos de datos, ya que ahora ofrece un servicio de migración gestionada (Managed Migration) de tablas de Apache Hive a tablas de Apache Iceberg dentro del servicio Amazon S3 Tables. Este paso tiene como objetivo ayudar a las organizaciones a migrar al estándar abierto de Iceberg sin necesidad de construir pipelines de procesamiento de datos o aprovisionar recursos de computación adicionales.
¿Qué cambia en la práctica?
Anteriormente, el proceso de migración de tablas de Hive a Iceberg requería semanas de trabajo de ingeniería manual, incluida la gestión de la infraestructura, la conversión de tipos de datos y la garantía de la capacidad de reversión de las operaciones. El nuevo servicio convierte este camino en un proceso totalmente gestionado basado en interfaces de programación de aplicaciones (API), donde S3 Tables se encarga de las siguientes tareas:
- Verificar la compatibilidad de datos y realizar las comprobaciones necesarias.
- Convertir tipos de datos y comprimir archivos.
- Gestionar automáticamente las operaciones de compactación (Compaction).
- Generar informes de compatibilidad precisos antes de iniciar la transferencia de datos.
El servicio permite a los usuarios sincronizar los datos varias veces sin necesidad de detener las operaciones de escritura en la tabla de origen, lo que reduce el tiempo de inactividad (Downtime) a solo unos pocos minutos durante la fase de transición final.
¿Por qué importa esta noticia?
Apache Iceberg se considera el estándar de la industria actual para la gestión de conjuntos de datos analíticos masivos, ya que ofrece características como la evolución de esquemas (Schema Evolution), particionamiento oculto (Hidden Partitioning) y consultas de viaje en el tiempo (Time Travel). Al integrar esta función en S3 Tables, AWS ofrece a los usuarios acceso directo a estas características mientras se benefician del almacenamiento gestionado que incluye mantenimiento automático, optimización y clasificación inteligente de datos (S3 Intelligent-Tiering).
Disponibilidad y limitaciones
El servicio está disponible actualmente en regiones seleccionadas que incluyen Estados Unidos (Norte de Virginia, Ohio, Oregón), Asia-Pacífico (Mumbai, Singapur, Sídney, Tokio) y Europa (Fráncfort, Irlanda, Estocolmo). En el momento del lanzamiento, la característica es compatible con tablas de Hive registradas en AWS Glue y almacenadas en formato Parquet dentro de la misma cuenta y región geográfica.
Los usuarios pueden realizar operaciones de migración a través de la consola de S3, utilizando la interfaz de línea de comandos (AWS CLI) o mediante herramientas de inteligencia artificial como Agent Toolkit for AWS, que proporciona orientación paso a paso para garantizar la seguridad del proceso de migración.