从云对象存储迁移数据到 ClickHouse Cloud

如果您使用云对象存储作为数据湖,并希望将这些数据导入到 ClickHouse Cloud,或者如果您当前的数据库系统能够直接卸载数据到云对象存储,那么您可以使用以下表函数将存储在云对象存储中的数据迁移到 ClickHouse Cloud 表:
如果您当前的数据库系统无法直接卸载数据到云对象存储,您可以使用 第三方 ETL/ELT 工具 或 clickhouse-local 将数据从您当前的数据库系统迁移到云对象存储,以便在第二步将该数据迁移到 ClickHouse Cloud 表中。
尽管这是一个两步过程(将数据卸载到云对象存储,然后加载到 ClickHouse),但其优势在于得益于支持高并行读取云对象存储的 稳定的 ClickHouse Cloud,可以扩展到 PB 级别。此外,您可以利用 Parquet 等复杂且压缩的格式。
有一篇 博客文章,提供了具体的代码示例,展示了如何使用 S3 将数据导入到 ClickHouse Cloud。