数据湖的全面升级
亚马逊网络服务 (AWS) 宣布推出一项旨在简化数据湖更新过程的新功能，现在可在 Amazon S3 Tables 服务内提供从 Apache Hive 表到 Apache Iceberg 表的托管迁移 (Managed Migration) 服务。此举旨在帮助企业过渡到 Iceberg 开放标准，而无需构建数据处理流水线 (Pipelines) 或提供额外的计算资源。
实际发生了哪些变化？
此前，将 Hive 表迁移到 Iceberg 的过程需要数周的手动工程工作，包括基础设施管理、数据类型转换以及确保操作的可回滚性。这项新服务通过 API 将该路径转变为完全托管的过程，由 S3 Tables 负责以下任务：
- 验证数据兼容性并进行必要的检查。
- 转换数据类型并压缩文件。
- 自动管理合并 (Compaction) 操作。
- 在开始数据迁移之前生成准确的兼容性报告。
该服务允许用户进行多次数据同步，而无需停止对源表的写入操作，从而在最终迁移阶段将停机时间 (Downtime) 缩短至仅几分钟。
为什么这条新闻很重要？
Apache Iceberg 是当前管理大规模分析数据集的行业标准，它提供了诸如模式演进 (Schema Evolution)、隐藏分区 (Hidden Partitioning) 和时间旅行查询 (Time Travel) 等功能。通过将此功能集成到 S3 Tables 中，AWS 让用户能够直接访问这些功能，并受益于包含自动维护、优化和智能数据分层 (S3 Intelligent-Tiering) 的托管存储。
可用性与限制
该服务目前在特定区域可用，包括美国（北弗吉尼亚、俄亥俄、俄勒冈）、亚太地区（孟买、新加坡、悉尼、东京）和欧洲（法兰克福、爱尔兰、斯德哥尔摩）。在发布阶段，该功能支持在同一账户和地理区域内、通过 AWS Glue 注册并以 Parquet 格式存储的 Hive 表。
用户可以通过 S3 控制台、使用命令行界面 (AWS CLI) 或通过 Agent Toolkit for AWS 等人工智能工具执行迁移操作，后者提供逐步指南以确保迁移过程的安全完整。