从云对象存储迁移数据到 ClickHouse Cloud

如果您使用云对象存储作为数据湖,并希望将这些数据导入到 ClickHouse Cloud,或者如果您当前的数据库系统能够直接将数据卸载到云对象存储中,那么您可以使用以下其中一个表函数将存储在云对象存储中的数据迁移到 ClickHouse Cloud 表中:
如果您当前的数据库系统无法直接将数据卸载到云对象存储中,您可以使用 第三方 ETL/ELT 工具 或 clickhouse-local 将数据从当前数据库系统移动到云对象存储,以便在第二步中将数据迁移到 ClickHouse Cloud 表中。
尽管这是一个两步骤的过程(将数据卸载到云对象存储,然后加载到 ClickHouse),但其优势在于,由于 ClickHouse Cloud 对云对象存储的高度并行读取的支持,该过程可以扩展到 PB 级别。此外,您还可以利用复杂和压缩的格式,如 Parquet。
还有一篇 博客文章,提供了具体的代码示例,展示了如何使用 S3 将数据导入到 ClickHouse Cloud。