从 BigQuery 加载数据到 ClickHouse
此指南适用于 ClickHouse Cloud 和自托管的 ClickHouse v23.5+。
本指南展示了如何将数据从 BigQuery 迁移到 ClickHouse。
我们首先将一个表导出到 Google 对象存储 (GCS)，然后将该数据导入到 ClickHouse Cloud。这些步骤需要对每个您希望从 BigQuery 导出到 ClickHouse 的表进行重复。
导出数据到 ClickHouse 需要多长时间？
从 BigQuery 导出数据到 ClickHouse 的时间取决于您数据集的大小。作为比较，使用本指南将 4TB 公共以太坊数据集 从 BigQuery 导出到 ClickHouse 大约需要一小时。
| 表 | 行数 | 导出文件数量 | 数据大小 | BigQuery 导出 | 槽时间 | ClickHouse 导入 |
|---|---|---|---|---|---|---|
| blocks | 16,569,489 | 73 | 14.53GB | 23 秒 | 37 分钟 | 15.4 秒 |
| transactions | 1,864,514,414 | 5169 | 957GB | 1 分 38 秒 | 1 天 8小时 | 18 分 5 秒 |
| traces | 6,325,819,306 | 17,985 | 2.896TB | 5 分 46 秒 | 5 天 19 小时 | 34 分 55 秒 |
| contracts | 57,225,837 | 350 | 45.35GB | 16 秒 | 1 小时 51 分 | 39.4 秒 |
| 总计 | 82.6 亿 | 23,577 | 3.982TB | 8 分 3 秒 | > 6 天 5 小时 | 53 分 45 秒 |
1. 将表数据导出到 GCS
在此步骤中，我们使用 BigQuery SQL 工作区 执行我们的 SQL 命令。下面，我们将名为 mytable 的 BigQuery 表导出到 GCS 存储桶，使用 EXPORT DATA 语句。
在上述查询中，我们将 BigQuery 表导出为 Parquet 数据格式。我们在 uri 参数中也使用了 * 字符。这确保了如果导出的数据超过 1GB，输出将被分片到多个文件中，文件名后缀数字递增。
这种方法具有多种优势：
- Google 允许每天将最多 50TB 的数据免费导出到 GCS。用户仅需为 GCS 存储付费。
- 导出会自动生成多个文件，将每个文件限制为最多 1GB 的表数据。这对 ClickHouse 有利，因为这使得导入可以并行化。
- Parquet 作为一种面向列的格式，代表了更好的交换格式，因为它固有地被压缩，并且对 BigQuery 导出和 ClickHouse 查询速度更快。
2. 从 GCS 导入数据到 ClickHouse
一旦导出完成，我们可以将这些数据导入到 ClickHouse 表中。您可以使用 ClickHouse SQL 控制台 或 clickhouse-client 执行以下命令。
首先，您必须 在 ClickHouse 中创建表：
创建表后，如果您的集群中有多个 ClickHouse 副本，则启用设置 parallel_distributed_insert_select 以加快导出速度。如果您只有一个 ClickHouse 节点，则可以跳过此步骤：
最后，我们可以使用 INSERT INTO SELECT 命令 将数据从 GCS 插入到我们的 ClickHouse 表中，该命令基于 SELECT 查询的结果将数据插入表中。
为了检索要 INSERT 的数据，我们可以使用 s3Cluster 函数 从我们的 GCS 存储桶检索数据，因为 GCS 与 Amazon S3 互操作。如果您只有一个 ClickHouse 节点，可以使用 s3 表函数 而不是 s3Cluster 函数。
在上述查询中使用的 ACCESS_ID 和 SECRET 是与您的 GCS 存储桶关联的 HMAC 密钥。
3. 测试数据导出是否成功
要测试您的数据是否正确插入，只需在新表上运行 SELECT 查询：
要导出更多的 BigQuery 表，只需对每个其他表重复上述步骤。
进一步阅读和支持
除了本指南，我们还推荐阅读我们的博客文章，展示了 如何使用 ClickHouse 加速 BigQuery 以及如何处理增量导入。
如果您在将数据从 BigQuery 转移到 ClickHouse 时遇到问题，请随时通过 [email protected] 与我们联系。
