AWS hat am 21. August 2026 die allgemeine Verfügbarkeit von AWS Glue 6.0 angekündigt. Dabei handelt es sich um eine Version des verwalteten Dienstes für Datenintegration und -verarbeitung, die einen um 30 % niedrigeren Preis als frühere Versionen von AWS Glue bietet. Die Version basiert auf einer vollständig aktualisierten Laufzeitumgebung mit Apache Spark 4.1, Python 3.12 und Scala 2.13 und umfasst Verbesserungen zur Leistungssteigerung von Aufgaben für das Extrahieren, Transformieren und Laden von Daten sowie für Echtzeit-Anwendungsfälle.
Umfassendere Unterstützung für Apache-Iceberg-Daten
AWS Glue 6.0 bietet vollständige Unterstützung für die Spezifikation Apache Iceberg v3, die in dieser Version auf Iceberg 1.11.0 basiert. Zu den wichtigsten Neuerungen gehört der Datentyp VARIANT mit Unterstützung für Shredding. Dadurch können JSON-Daten, Datensätze und Ereignisdaten gespeichert und abgefragt werden, ohne dass Schemata zuvor abgeflacht werden müssen.
In der Praxis hilft dieser Ansatz Datenteams dabei, redundante Datenkopien und das Schreiben individueller Analysecodes zu reduzieren. Außerdem verringert er die Wahrscheinlichkeit, dass Datenverarbeitungspipelines bei Schemaänderungen ausfallen. Dies ist besonders in Umgebungen relevant, die semi-strukturierte Daten verarbeiten, deren Struktur sich im Laufe der Zeit verändert.
- Geometry- und Geography-Datentypen zur lokalen Verarbeitung räumlicher Daten für Analysen in geografischen Informationssystemen und der Standortintelligenz.
- Zeitstempel mit Nanosekundengenauigkeit, um die Anforderungen von Daten aus IoT-Sensoren, der wissenschaftlichen Datenverarbeitung und einigen hochfrequenten Finanz-Workloads zu erfüllen.
- Verarbeitung unbekannter Typen, wodurch der Umgang mit unerwarteten oder veränderlichen Schemata möglich wird, ohne dass die Datenpipeline fehlschlägt.
Aktualisierungen der Spark-4.1-Engine
Die Version umfasst neue, auf Spark 4.1 basierende Funktionen, die die Entwicklung und Ausführung von ETL-Aufgaben vereinfachen und verbessern. Spark Declarative Pipelines ermöglichen es Dateningenieuren, die gewünschte Form der Transformationen zu beschreiben, anstatt die Ausführungsreihenfolge und Optimierung manuell zu verwalten. Die Engine bestimmt die Ausführungsreihenfolge und die geeigneten Optimierungen.
AWS Glue 6.0 bietet außerdem eine native Ausführung über Apache Arrow für benutzerdefinierte Python-Funktionen, darunter UDFs und UDTFs. Dadurch entfällt der Serialisierungsaufwand zwischen Python und der JVM, was die PySpark-Leistung bei komplexen Transformationen verbessern kann.
Für zustandslose Streaming-Anwendungsfälle bietet die Version einen Echtzeit-Streaming-Modus mit einer Latenz im einstelligen Millisekundenbereich. Dieser Modus basiert auf dem Real-Time Mode von Spark 4.1 und nutzt eine von Glue optimierte Ausführung. Er richtet sich an die Verarbeitung, Transformation und Weiterleitung von Ereignissen, wenn die zeitliche Reaktionsfähigkeit entscheidend ist.
Was ändert sich praktisch für die Nutzer?
Für die Nutzung von Glue 6.0 sind keine Änderungen an den APIs erforderlich. Die Version kann über den Parameter --glue-version in den Operationen create-job und update-job über die AWS CLI, das AWS SDK, AWS Glue Studio, Amazon SageMaker Unified Studio und bevorzugte Entwicklungsumgebungen ausgewählt werden.
In AWS Glue Studio können neue Aufgaben mit der Option Glue 6.0 erstellt werden, die Spark 4.1, Scala 2 und Python 3 unterstützt; außerdem können bestehende Aufgaben aktualisiert werden. Ebenso können der Spark upgrade agent oder die automatische Upgrade-Funktion verwendet werden. Jupyter-Notebooks und interaktive Sitzungen ermöglichen es, Version 6.0 über die Anweisung %glue_version festzulegen.
Verfügbarkeit und Kosten
AWS Glue 6.0 ist in allen AWS-Regionen allgemein verfügbar, in denen der Dienst betrieben wird; die regionale Verfügbarkeit kann je nach Region variieren. Crawler und ETL-Aufgaben werden pro Stunde und Sekunde abgerechnet, während für den AWS Glue Data Catalog vereinfachte monatliche Gebühren für die Speicherung und den Zugriff auf Metadaten anfallen. Die Speicherung der ersten eine Million Objekte und die ersten eine Million Zugriffe bleiben gemäß den Angaben in der Ankündigung kostenlos.