将数据从云对象存储迁移到 ClickHouse Cloud

如果你将云对象存储用作数据湖并希望将这些数据导入 ClickHouse Cloud,或者当前数据库系统可以直接将数据导出到云对象存储,那么可以使用以下表函数,将存储在云对象存储中的数据迁移到 ClickHouse Cloud 表中:
如果当前数据库系统无法直接将数据导出到云对象存储,你可以使用第三方 ETL/ELT 工具或 clickhouse-local,先将数据从当前数据库系统迁移到云对象存储,然后在第二步再将这些数据迁移到 ClickHouse Cloud 表中。
尽管这是一个两步流程(先将数据导出到云对象存储,再加载到 ClickHouse),其优势在于:凭借 ClickHouse Cloud 对云对象存储高并发读取的强大支持,该方案可以扩展到 PB 级数据规模。 同时,你还可以利用诸如 Parquet 等高级且高压缩率的格式。
有一篇博客文章提供了具体代码示例,展示了如何使用 S3 将数据导入 ClickHouse Cloud。