将数据从云对象存储移动到 ClickHouse Cloud

如果您使用云对象存储作为数据湖并希望将这些数据导入 ClickHouse Cloud,或者如果您当前的数据库系统能够直接将数据卸载到云对象存储中,那么您可以使用以下表函数将存储在云对象存储中的数据迁移到 ClickHouse Cloud 表中:
如果您当前的数据库系统无法直接将数据卸载到云对象存储中,您可以使用 第三方 ETL/ELT 工具 或 clickhouse-local 来将数据从您当前的数据库系统移动到云对象存储,以便在第二步中将这些数据迁移到 ClickHouse Cloud 表中。
尽管这是一个两步过程(将数据卸载到云对象存储,然后加载到 ClickHouse),但它的优势在于由于 强大的 ClickHouse Cloud 对来自云对象存储的高并发读取的支持,可以扩展到 PB 级别。同时,您可以利用复杂和压缩的格式,例如 Parquet。
有一篇 博客文章 通过具体代码示例展示了如何使用 S3 将数据导入 ClickHouse Cloud。