AWS, Amazon S3 Tables hizmetinin Apache Iceberg V3 belirtiminde yer alan tüm veri türlerini desteklemeye başladığını duyurdu. Böylece V3 sürümünde yeni tablolar oluşturulabilir veya V2 tabanlı mevcut tablolar yükseltilebilir. Güncelleme silme vektörlerini (Deletion Vectors), satır soy bilgisini (Row Lineage) ve variant, nanosecond timestamp, geometry, geography ve unknown veri türlerini kapsıyor.
Bu özellikler, veri göllerinde büyük tabloları yöneten analiz ekiplerini hedefliyor. Yarı yapılandırılmış veriler, coğrafi koordinatlar veya son derece yüksek hassasiyetli zaman damgaları metin dizileri ya da tam sayılar olarak temsil edilmek yerine Iceberg tablolarında yerel türlerle depolanabiliyor; Amazon S3 üzerinde Parquet dosyalarının kullanımı ise devam ediyor.
Pratikte ne değişiyor?
Silme vektörleri, Iceberg V2'de kullanılan konum tabanlı silme dosyalarının yerini sıkıştırılmış ikili bir gösterimle alıyor. AWS'nin sunduğu örneğe göre, iki milyar satır içeren bir tablodan 50 bin kaydın silinmesi, binlerce küçük dosya yerine tek bir silme vektörü dosyası oluşturabiliyor; bu da dosya yükünü ve sonraki sıkıştırma süresini azaltıyor.
Satır soy bilgisi ise _row_id ve _last_updated_sequence_number alanlarını otomatik olarak ekliyor. Sonraki veri işleme hatları, her çalıştırmada tablonun tamamını taramak yerine önceki bir kontrol noktasından bu yana değişen satırları çıkarmak için sıra numarasını kullanabiliyor.
variant türü, yarı yapılandırılmış verileri sütunlu biçimde depoluyor. Bu, sorgu motorunun gerekli alanları doğrudan okumasına ve G/Ç işlemlerini azaltmak için istatistiklerden yararlanmasına olanak tanıyor; böylece her sorguda JSON metinlerinin ayrıştırılması gerekmiyor. Iceberg V3 ayrıca coğrafi veriler ve nanosaniye hassasiyetindeki zaman damgaları için yerel türler sunuyor.
Iceberg V2'den yükseltme
Mevcut bir tablo, veriler yeniden yazılmadan format-version özelliği 3 olarak değiştirilerek atomik biçimde yükseltilebiliyor. V2 okuyucuları, ortamda V3 desteği tamamlanana kadar yükseltilmiş tablolarda çalışmaya devam ediyor. S3 Tables ise sonraki sıkıştırma döngüsünde eski silme dosyalarını kaldırıyor ve satır soy bilgisi verilerini bir sonraki veri değişikliğinde başlatıyor.
Ancak bu yükseltme tek yönlüdür; Apache Iceberg belirtimi V3'ten V2'ye geri dönmeyi desteklemiyor. Bu nedenle tabloya erişen tüm motorların yeni sürümü desteklediği önceden doğrulanmalıdır.
Uyumluluk ve sınırlamalar
Yeni veri türleri, Apache Spark 4.0 veya daha yeni bir sürüm üzerine kurulu bir motor gerektiriyor; buna AWS Glue 6.0 veya daha yeni sürümler ya da Amazon EMR sürüm 8.1 veya daha yeni sürümler dâhil. Bu türler yalnızca Parquet kullanan tablolarla sınırlı; ORC veya Avro ile kullanılamıyor.
variant, geometry, geography sütunları veya nanosaniye hassasiyetindeki zaman damgaları sıkıştırmaya yönelik tablo sıralamasında kullanılamıyor. Bununla birlikte, bunları içeren tablolar sıralama başka türlerdeki sütunlara dayandığında sıkıştırılabilir olmaya devam ediyor. S3 Tables, sıkıştırma ve bakımı otomatik olarak yönetmeye devam ediyor; tablolar Amazon S3 konsolundan, AWS CLI üzerinden veya Iceberg REST Catalog arayüzünü destekleyen herhangi bir motorla oluşturulabiliyor.
Bu güncelleme neden önemli?
Güncelleme, veri ekiplerine büyük ölçekli silmeler, düzensiz veriler ve artımlı güncellemelerle çalışırken özel dönüşümlere daha az bağımlı bir yol sunuyor. Ancak pratik fayda, kuruluşun sorgulama ve yazma motorlarının hazır olmasına bağlı; yükseltme tüm araçlarla anında uyumluluk anlamına gelmiyor. Ayrıca yeni türlerin kullanımı depolama biçimini sınırlıyor ve belirli Spark sürümleriyle bunlara bağlı hizmetleri gerektiriyor.
Apache Iceberg V3 desteği, S3 Tables'ı destekleyen tüm AWS bölgelerinde, güncelleme için özel bir ek ücret alınmadan kullanıma sunuldu; standart S3 Tables fiyatlandırması uygulanmaya devam ediyor.