Informatique en nuage et centres de données

Amazon Aurora PostgreSQL permet d’interroger directement Iceberg et Parquet dans le lac de données

AWS a ajouté à Amazon Aurora PostgreSQL la possibilité d’intégrer des données opérationnelles en temps réel avec des données Apache Iceberg et Parquet stockées dans Amazon S3 au sein d’une seule requête PostgreSQL, sans pipelines ETL pour déplacer les données. Cette capacité repose sur DuckDB intégré et prend en charge AWS Glue Data Catalog ainsi que les catalogues Iceberg compatibles avec IRC.

2026-09-30
5 min de lecture
295 vues
certi.news Editorial Team
Amazon Aurora PostgreSQL permet d’interroger directement Iceberg et Parquet dans le lac de données

AWS a annoncé l’ajout de la possibilité d’interroger directement des données Apache Iceberg et Apache Parquet stockées dans un lac de données, parallèlement aux données opérationnelles au sein d’Amazon Aurora PostgreSQL. Cette nouvelle capacité permet aux applications de combiner les enregistrements récents et historiques dans une seule requête en utilisant la syntaxe PostgreSQL et les outils existants, sans copier les données dans la base de données au moyen de pipelines ETL.

Qu’est-ce qui a changé concrètement ?

La fonctionnalité repose sur le moteur DuckDB intégré directement à Aurora PostgreSQL. Ainsi, une seule requête peut lire les données opérationnelles, y compris les écritures non validées, et lire des tables Iceberg ou des fichiers Parquet depuis Amazon S3. AWS Glue Data Catalog, Amazon S3 et S3 Tables sont également pris en charge, tout comme les catalogues compatibles avec Iceberg REST Catalog via le mécanisme de federation dans Glue.

L’utilisateur doit créer un cluster Aurora PostgreSQL, lui associer un rôle IAM incluant la fonctionnalité AuroraAnalytics, puis activer l’extension aurora_analytics. Il peut ensuite créer des foreign tables faisant référence aux données externes, ou utiliser IMPORT FOREIGN SCHEMA pour créer automatiquement plusieurs tables en déduisant le schéma des données à partir des métadonnées.

Pourquoi cette annonce est-elle importante ?

Les applications qui combinent des transactions récentes dans Aurora et des enregistrements historiques dans S3 devaient généralement copier les données au moyen du reverse ETL, ce qui ajoutait des opérations de synchronisation, des coûts opérationnels et une complexité d’ingénierie. Désormais, cette intégration peut être réalisée pendant l’exécution de la requête elle-même. Cela est utile pour les tableaux de bord qui nécessitent un contexte historique, les applications qui associent une transaction à un enregistrement antérieur et les systèmes qui traitent des données réparties entre une base opérationnelle et un lac de données.

Ce point revêt une importance supplémentaire dans les applications qui utilisent des agents d’intelligence artificielle, car il est difficile de prévoir à l’avance chaque ensemble de données dont l’agent pourrait avoir besoin et de le copier dans une base opérationnelle. L’accès direct permet d’élargir l’étendue des données disponibles sans créer une copie pour chaque cas d’utilisation.

Performances et options d’accès

Aurora applique des optimisations telles que le transfert des filtres vers la source de données et la réduction du nombre de colonnes lues, et met temporairement en cache les données fréquemment utilisées au sein de l’instance Aurora. Le comportement de chaque requête peut être examiné au moyen de la fonction aurora_analytics_stat_statements(), qui affiche notamment le nombre de lignes examinées, le volume de données lues depuis S3 et le nombre de fois où le cache a été utilisé.

Les requêtes sont disponibles sur les différentes instances Aurora au sein du cluster, y compris l’instance d’écriture et les réplicas dédiés à la lecture, ce qui permet d’affecter les opérations d’analyse lourdes à des instances distinctes de la charge opérationnelle. Pour les cas nécessitant des temps de réponse de l’ordre de la milliseconde, les données peuvent être matérialisées dans une table Aurora native au moyen de CREATE TABLE AS SELECT, INSERT INTO ... SELECT ou MERGE INTO. Les opérations d’écriture résultant de la matérialisation sont exécutées sur l’instance d’écriture.

Disponibilité et coût

Cette capacité prend en charge Aurora PostgreSQL 17 à partir de la version 17.11, et la version 18 à partir de la version 18.6. Elle est disponible dans toutes les régions AWS commerciales et les régions AWS GovCloud (US), sans frais supplémentaires pour la fonctionnalité elle-même. Le coût reste lié à l’augmentation de la capacité de calcul Aurora consommée par les requêtes, ainsi qu’aux frais de requêtes Amazon S3 pour la lecture des fichiers du lac de données.

Lecture de certi.news : le changement fondamental ne consiste pas à ajouter un nouveau format de stockage, mais à réduire la distance entre la base de données opérationnelle et le lac de données. Cela ne supprime toutefois pas les considérations liées à la conception des charges de travail : l’interrogation directe convient à un accès flexible aux données, tandis que la matérialisation reste nécessaire lorsque des temps de réponse extrêmement faibles constituent une priorité. De même, la consommation de capacité de calcul Aurora et les requêtes S3 resteront des facteurs à mesurer en fonction du modèle de requête et du volume de données.

Source de l’actualité
c
Auteur

certi.news Editorial Team

À retenir

AWS permet désormais à Amazon Aurora PostgreSQL d’interroger directement des données Apache Iceberg et Apache Parquet dans Amazon S3 en plus des données opérationnelles, au sein d’une seule requête PostgreSQL et sans pipelines ETL pour copier les données. La fonctionnalité s’appuie sur DuckDB intégré et est disponible dans Aurora PostgreSQL 17.11 et 18.6 ou versions ultérieures, sans frais supplémentaires pour la fonctionnalité elle-même.

  • Une même requête peut combiner des données opérationnelles récentes et des données historiques Iceberg ou Parquet stockées dans Amazon S3.
  • La fonctionnalité s’appuie sur le moteur DuckDB intégré à Aurora PostgreSQL et prend en charge AWS Glue Data Catalog ainsi que les catalogues Iceberg compatibles avec REST Catalog.
  • Son activation nécessite de créer un cluster Aurora PostgreSQL, d’y associer un rôle IAM incluant AuroraAnalytics, puis d’activer l’extension aurora_analytics.
  • Il est possible de créer manuellement des tables externes (foreign tables) ou d’utiliser IMPORT FOREIGN SCHEMA pour importer plusieurs tables avec déduction du schéma à partir des métadonnées.
  • Les requêtes sont disponibles sur le nœud writer et les réplicas en lecture, avec des optimisations telles que le pushdown des filtres et la mise en cache des données fréquemment consultées dans Aurora.
  • La fonctionnalité n’entraîne aucuns frais supplémentaires, mais les coûts peuvent augmenter en raison du calcul Aurora et des requêtes Amazon S3. La matérialisation des données dans Aurora peut être nécessaire pour les applications exigeant une latence extrêmement faible.

FAQ

Quelles sources de données Aurora PostgreSQL peut-il interroger directement ?

Il peut interroger des données Apache Iceberg et Apache Parquet stockées dans Amazon S3, ainsi que les données opérationnelles présentes dans Aurora PostgreSQL.

La fonctionnalité nécessite-t-elle de copier les données au moyen d’un processus ETL ?

Non. Elle permet de lire directement les données externes dans la même requête, sans les copier dans la base de données au moyen de pipelines ETL.

Quelles versions d’Aurora PostgreSQL sont prises en charge ?

AWS prend en charge Aurora PostgreSQL 17 à partir de la version 17.11 et Aurora PostgreSQL 18 à partir de la version 18.6.

L’utilisation de la fonctionnalité entraîne-t-elle des frais supplémentaires ?

La fonctionnalité elle-même n’entraîne aucuns frais supplémentaires, mais les coûts de calcul Aurora et les frais liés aux requêtes Amazon S3 pour la lecture des fichiers du lac de données restent applicables.

Dans la même catégorie

À lire également

Voir toutes les actualités