AWSは2026年8月21日、AWS Glue 6.0の一般提供を開始したと発表した。これは、AWS Glueの従来のバージョンより30％低い価格を提供する、マネージド型のデータ統合・処理サービスのバージョンである。このバージョンは、Apache Spark 4.1、Python 3.12、Scala 2.13を含む、全面的に更新されたランタイム環境を基盤としており、抽出、変換、ロードのタスクのパフォーマンスに加え、リアルタイムのユースケースを対象とした改善が行われている。
Apache Icebergデータのサポートを拡大
AWS Glue 6.0は、このバージョンではIceberg 1.11.0を基盤とするApache Iceberg v3仕様を完全にサポートする。主な追加機能の一つが、shreddingをサポートするVARIANTデータ型であり、スキーマを事前にフラット化することなく、JSONデータ、レコード、イベントデータを保存してクエリできる。
実際には、この方式によってデータチームは重複データのコピーやカスタム分析コードの記述を減らせるほか、スキーマが変更された際にデータパイプラインが停止する可能性も抑えられる。この点は、時間の経過に伴って構造が変化する半構造化データを扱う環境で特に重要になる。
- 地理情報システム分析や位置情報インテリジェンスにおいて、空間データをローカルに処理するためのGeometry型およびGeography型。
- ナノ秒精度のタイムスタンプ。IoTセンサーのデータ、科学計算、一部の高頻度金融ワークロードの要件に対応する。
- 未知の型の処理。予期しない、または変化するスキーマを、データパイプラインを失敗させずに扱えるようにする。
Spark 4.1エンジンの更新
このバージョンには、ETLタスクの開発を簡素化し、実行を改善するための、Spark 4.1を基盤とする新機能が含まれている。Spark Declarative Pipelinesにより、データエンジニアは実行順序や最適化を手動で管理するのではなく、変換で実現したい形を記述できる。エンジンが実行順序と適切な最適化を決定する。
また、AWS Glue 6.0は、UDFやUDTFを含む、ユーザー定義のPython関数に対してApache Arrowによるネイティブ実行を追加する。これによりPythonとJVM間のシリアライズのオーバーヘッドがなくなり、複雑な変換におけるPySparkのパフォーマンスが改善する可能性がある。
ステートレスなストリーミングでは、1桁台ミリ秒のレイテンシーによるリアルタイムストリーミングモードを提供する。このモードは、Spark 4.1のReal-Time ModeとGlueによる最適化された実行を基盤としており、時間的な応答性が重要な要素となるイベント処理、データ変換、データルーティングを対象としている。
ユーザーにとって実際に何が変わるのか
Glue 6.0を利用するために、APIの変更は必要ない。AWS CLI、AWS SDK、AWS Glue Studio、Amazon SageMaker Unified Studio、および各種の開発環境で、create-jobとupdate-jobの両方において--glue-versionパラメーターを使用してバージョンを選択できる。
AWS Glue Studioでは、Spark 4.1、Scala 2、Python 3をサポートするGlue 6.0オプションを使用して新しいジョブを作成したり、既存のジョブをアップグレードしたりできる。また、Spark upgrade agentや自動アップグレード機能も利用できる。Jupyterノートブックとインタラクティブセッションでは、%glue_versionディレクティブを使用してバージョン6.0を指定できる。
提供地域とコスト
AWS Glue 6.0は、サービスが稼働しているすべてのAWSリージョンで一般提供されるようになった。ただし、リージョンによって提供状況は異なる。クローラーとETLジョブには時間単位および秒単位で料金が発生する一方、AWS Glue Data Catalogにはメタデータの保存とアクセスに対する簡素化された月額料金が適用される。発表の情報によると、最初の100万オブジェクトの保存と最初の100万回のアクセスは引き続き無料である。