AWS anunció el 21 de agosto de 2026 la disponibilidad general de AWS Glue 6.0, una versión del servicio administrado de integración y procesamiento de datos que ofrece un precio un 30 % menor que las versiones anteriores de AWS Glue. La versión se basa en un entorno de ejecución completamente actualizado que incluye Apache Spark 4.1, Python 3.12 y Scala 2.13, con mejoras orientadas al rendimiento de las tareas de extracción, transformación y carga de datos, además de los casos de uso en tiempo real.
Compatibilidad ampliada con los datos de Apache Iceberg
AWS Glue 6.0 ofrece compatibilidad completa con la especificación Apache Iceberg v3, basada en esta versión en Iceberg 1.11.0. Entre las principales incorporaciones se encuentra el tipo de datos VARIANT con compatibilidad con shredding, lo que permite almacenar y consultar datos JSON, registros y datos de eventos sin necesidad de aplanar previamente los esquemas.
En la práctica, este enfoque ayuda a los equipos de datos a reducir la duplicación de datos y la escritura de código de análisis personalizado, y también limita la posibilidad de que las canalizaciones fallen cuando cambia el esquema. Esto adquiere mayor importancia en entornos que trabajan con datos semiestructurados cuya estructura cambia con el tiempo.
- Tipos Geometry y Geography para procesar datos espaciales localmente en análisis de sistemas de información geográfica e inteligencia de ubicación.
- Marcas de tiempo con precisión de nanosegundos, para satisfacer los requisitos de los datos de sensores del Internet de las cosas, la computación científica y algunas cargas de trabajo financieras de alta frecuencia.
- Procesamiento de tipos desconocidos, lo que permite gestionar esquemas inesperados o cambiantes sin que falle la canalización de datos.
Actualizaciones del motor Spark 4.1
La versión incluye nuevas capacidades basadas en Spark 4.1 para simplificar el desarrollo de tareas ETL y mejorar su ejecución. Spark Declarative Pipelines permite a los ingenieros de datos describir la forma deseada de las transformaciones en lugar de gestionar manualmente el orden de ejecución y la optimización; el motor determina el orden de ejecución y las optimizaciones adecuadas.
AWS Glue 6.0 también añade una ejecución nativa mediante Apache Arrow para funciones de Python definidas por el usuario, incluidas las UDF y UDTF. Esto elimina el coste de serialización entre Python y la JVM, lo que puede mejorar el rendimiento de PySpark en transformaciones complejas.
Para los casos de transmisión sin estado, la versión ofrece un modo de transmisión en tiempo real con una latencia de un solo dígito en milisegundos. Este modo se basa en Real-Time Mode de Spark 4.1, con una ejecución optimizada por Glue, y está orientado al procesamiento, la transformación y el enrutamiento de eventos cuando el tiempo de respuesta es un factor crítico.
¿Qué cambia en la práctica para los usuarios?
Aprovechar Glue 6.0 no requiere cambios en las interfaces de programación. La versión puede seleccionarse mediante el parámetro --glue-version en las interfaces create-job y update-job a través de AWS CLI, AWS SDK, AWS Glue Studio, Amazon SageMaker Unified Studio y los entornos de desarrollo preferidos.
En AWS Glue Studio, se pueden crear nuevas tareas mediante la opción Glue 6.0, compatible con Spark 4.1, Scala 2 y Python 3, o actualizar las tareas existentes. También se puede utilizar Spark upgrade agent o la función de actualización automática, mientras que los cuadernos de Jupyter y las sesiones interactivas permiten especificar la versión 6.0 mediante la instrucción %glue_version.
Disponibilidad y coste
AWS Glue 6.0 ya está disponible de forma general en todas las regiones de AWS en las que opera el servicio, con una disponibilidad regional que varía según la región. Los crawlers y las tareas ETL se facturan por hora y por segundo, mientras que AWS Glue Data Catalog aplica cargos mensuales simplificados por el almacenamiento y el acceso a los metadatos. El almacenamiento del primer millón de objetos y el primer millón de operaciones de acceso sigue siendo gratuito, según la información incluida en el anuncio.