Облачные вычисления и центры обработки данных

Amazon Aurora PostgreSQL обеспечивает прямые запросы к Iceberg и Parquet внутри озера данных

AWS добавила в Amazon Aurora PostgreSQL возможность объединять актуальные операционные данные с данными Apache Iceberg и Parquet, хранящимися в Amazon S3, в рамках одного запроса PostgreSQL без ETL-конвейеров для перемещения данных. Возможность основана на встроенном DuckDB и поддерживает AWS Glue Data Catalog и каталоги Iceberg, совместимые с IRC.

2026-09-30
3 мин. чтения
295 просмотров
certi.news Editorial Team
Amazon Aurora PostgreSQL обеспечивает прямые запросы к Iceberg и Parquet внутри озера данных

AWS объявила о добавлении возможности напрямую запрашивать данные Apache Iceberg и Apache Parquet, хранящиеся в озере данных, наряду с операционными данными в Amazon Aurora PostgreSQL. Новая возможность позволяет приложениям объединять свежие и исторические записи в одном запросе с использованием синтаксиса PostgreSQL и существующих инструментов, без копирования данных в базу данных через ETL-конвейеры.

Что изменилось на практике?

Функция основана на движке DuckDB, непосредственно встроенном в Aurora PostgreSQL. Благодаря этому один запрос может читать операционные данные, включая незакоммиченные записи, а также таблицы Iceberg или файлы Parquet из Amazon S3. Кроме того, поддерживаются AWS Glue Data Catalog, Amazon S3 и S3 Tables, а также каталоги, совместимые с Iceberg REST Catalog, через механизм federation в Glue.

Пользователю необходимо создать кластер Aurora PostgreSQL, прикрепить роль IAM, включающую возможность AuroraAnalytics, а затем активировать расширение aurora_analytics. После этого можно создавать foreign tables, указывающие на внешние данные, или использовать IMPORT FOREIGN SCHEMA для автоматического создания нескольких таблиц с определением схемы данных по метаданным.

Почему эта новость важна?

Ранее приложениям, объединяющим современные транзакции в Aurora с историческими записями в S3, обычно требовалось копировать данные посредством reverse ETL, что добавляло процессы синхронизации, эксплуатационные расходы и инженерную сложность. Теперь такое объединение можно выполнять непосредственно во время запроса. Это полезно для информационных панелей, которым необходим исторический контекст, приложений, связывающих транзакцию с предыдущей записью, и систем, работающих с данными, распределёнными между операционной базой данных и озером данных.

Этот аспект приобретает дополнительное значение в приложениях, использующих агентов искусственного интеллекта, поскольку заранее трудно предсказать, какой набор данных может понадобиться агенту, и скопировать его в операционную базу данных. Прямой доступ позволяет расширить диапазон доступных данных без создания отдельной копии для каждого варианта использования.

Производительность и варианты доступа

Aurora применяет такие оптимизации, как передача фильтров источнику данных и сокращение числа считываемых столбцов, а также временно хранит часто используемые данные внутри экземпляра Aurora. Поведение каждого запроса можно проверить с помощью функции aurora_analytics_stat_statements(), которая показывает, в частности, количество проверенных строк, объём данных, прочитанных из S3, и количество обращений к кэшу.

Запросы доступны на разных экземплярах Aurora внутри кластера, включая экземпляр-источник и реплики, предназначенные для чтения, что позволяет направлять аналитические операции сканирования отдельно от операционной нагрузки. Для случаев, требующих времени выполнения порядка долей миллисекунды, данные можно материализовать в собственной таблице Aurora с помощью CREATE TABLE AS SELECT, INSERT INTO ... SELECT или MERGE INTO. Операции записи, возникающие в результате материализации, выполняются на экземпляре-источнике.

Доступность и стоимость

Возможность поддерживается в версиях Aurora PostgreSQL 17 начиная с 17.11 и 18 начиная с 18.6. Она доступна во всех коммерческих регионах AWS и регионах AWS GovCloud (US), без дополнительной платы за саму функцию. При этом стоимость по-прежнему связана с дополнительными вычислительными ресурсами Aurora, которые потребляют запросы, а также с платой за запросы Amazon S3 при чтении файлов озера данных.

Чтение certi.news: Основное изменение заключается не в добавлении нового формата хранения, а в сокращении расстояния между операционной базой данных и озером данных. Однако это не отменяет необходимости учитывать особенности проектирования нагрузок: прямые запросы подходят для гибкого доступа к данным, тогда как материализация по-прежнему необходима, когда приоритетом является крайне низкое время отклика. Кроме того, потребление вычислительных ресурсов Aurora и количество запросов к S3 останутся факторами, которые следует измерять с учётом характера запросов и объёма данных.

Источник новости
c
Автор

certi.news Editorial Team

Что важно знать

AWS теперь позволяет Amazon Aurora PostgreSQL напрямую запрашивать данные Apache Iceberg и Apache Parquet в Amazon S3 наряду с операционными данными в рамках одного запроса PostgreSQL и без ETL-конвейеров для копирования данных. Функция основана на встроенном DuckDB и доступна в Aurora PostgreSQL версий 17.11 и 18.6 или более поздних без дополнительной платы за саму функцию.

  • Один запрос может объединять свежие операционные данные с историческими данными Iceberg или Parquet, хранящимися в Amazon S3.
  • Функция использует встроенный в Aurora PostgreSQL движок DuckDB и поддерживает AWS Glue Data Catalog, а также совместимые с REST Catalog каталоги Iceberg.
  • Для активации необходимо создать кластер Aurora PostgreSQL, подключить IAM-роль с разрешением AuroraAnalytics, а затем включить расширение aurora_analytics.
  • Foreign tables можно создавать вручную или использовать IMPORT FOREIGN SCHEMA для импорта нескольких таблиц с определением схемы на основе метаданных.
  • Запросы доступны на экземпляре записи и выделенных репликах для чтения; предусмотрены оптимизации, такие как проталкивание фильтров и кэширование часто используемых данных внутри Aurora.
  • Дополнительная плата за функцию не взимается, но расходы могут увеличиться из-за вычислений Aurora и запросов к Amazon S3; для приложений с крайне низкими требованиями к задержке может потребоваться материализация данных внутри Aurora.

Частые вопросы

Из каких источников данных Aurora PostgreSQL может выполнять прямые запросы?

Он может запрашивать данные Apache Iceberg и Apache Parquet, хранящиеся в Amazon S3, наряду с операционными данными внутри Aurora PostgreSQL.

Требует ли функция копирования данных с помощью ETL?

Нет, функция позволяет напрямую читать внешние данные в рамках того же запроса без копирования их в базу данных через ETL-конвейеры.

Какие версии Aurora PostgreSQL поддерживаются?

AWS поддерживает Aurora PostgreSQL 17 начиная с версии 17.11 и Aurora PostgreSQL 18 начиная с версии 18.6.

Взимается ли дополнительная плата за использование функции?

Дополнительная плата за саму функцию не взимается, однако сохраняются расходы на вычисления Aurora и запросы Amazon S3 при чтении файлов озера данных.

В той же категории

Вам также может понравиться

Все новости