跳到主要内容
跳到主要内容

从 BigQuery 加载数据到 ClickHouse

本指南适用于 ClickHouse Cloud 和自管理的 ClickHouse v23.5+。

本指南展示了如何将数据从 BigQuery 迁移到 ClickHouse。

我们首先将表导出到 Google 的对象存储 (GCS)，然后将数据导入到 ClickHouse Cloud。这些步骤需要为您希望从 BigQuery 导出到 ClickHouse 的每个表重复进行。

将数据导出到 ClickHouse 需要多长时间？​

从 BigQuery 导出数据到 ClickHouse 的时间取决于您的数据集的大小。作为比较，使用本指南，将 4TB 公共以太坊数据集 从 BigQuery 导出到 ClickHouse 大约需要一个小时。

表行数导出文件数数据大小BigQuery 导出插槽时间ClickHouse 导入
blocks16,569,4897314.53GB23 秒37 分钟15.4 秒
transactions1,864,514,4145169957GB1 分 38 秒1 天 8 小时18 分 5 秒
traces6,325,819,30617,9852.896TB5 分 46 秒5 天 19 小时34 分 55 秒
contracts57,225,83735045.35GB16 秒1 小时 51 分39.4 秒
总计82.6 亿23,5773.982TB8 分 3 秒> 6 天 5 小时53 分 45 秒

1. 导出表数据到 GCS​

在这一步中，我们利用 BigQuery SQL 工作空间 来执行我们的 SQL 命令。下面，我们将名为 mytable 的 BigQuery 表导出到 GCS 存储桶，使用 EXPORT DATA 语句。

在上述查询中，我们将 BigQuery 表导出为 Parquet 数据格式。我们的 uri 参数中还有一个 * 字符。这确保输出被分片成多个文件，具有递增的数字后缀，以防导出的数据超过 1GB。

这种方法有许多优点：

  • Google 每天允许最多 50TB 的数据免费导出到 GCS。用户只需支付 GCS 存储费用。
  • 导出自动生成多个文件，每个文件最大限制为 1GB 的表数据。这对 ClickHouse 是有利的，因为它可以实现并行导入。
  • Parquet 作为一种列式格式，代表了一种更好的交换格式，因为它天然压缩，并且对 BigQuery 的导出和 ClickHouse 的查询速度更快。

2. 从 GCS 导入数据到 ClickHouse​

一旦导出完成，我们可以将这些数据导入到 ClickHouse 表中。您可以使用 ClickHouse SQL 控制台 或 clickhouse-client 执行以下命令。

您必须首先在 ClickHouse 中 创建表：

创建表后，如果您的集群中有多个 ClickHouse 副本，请启用设置 parallel_distributed_insert_select 以加快导入速度。如果您只有一个 ClickHouse 节点，可以跳过此步骤：

最后，我们可以使用 INSERT INTO SELECT 命令 将 GCS 中的数据插入到 ClickHouse 表中，该命令根据 SELECT 查询的结果将数据插入到表中。

为了检索要 INSERT 的数据，我们可以使用 s3Cluster 函数 从我们的 GCS 存储桶检索数据，因为 GCS 可以与 Amazon S3 互操作。如果您只有一个 ClickHouse 节点，可以使用 s3 表函数 而不是 s3Cluster 函数。

上面查询中使用的 ACCESS_ID 和 SECRET 是您与 GCS 存储桶关联的 HMAC 密钥。

备注
使用 ifNull 导出可为空列

在上面的查询中，我们使用 ifNull 函数 处理 some_text 列，以便用默认值将数据插入到 ClickHouse 表中。您还可以在 ClickHouse 中将列设置为 Nullable，但这并不推荐，因为可能会对性能产生负面影响。

另外，您可以 SET input_format_null_as_default=1，任何缺失或 NULL 值将用各自列的默认值替代，如果这些默认值已指定。

3. 测试数据导出是否成功​

要测试数据是否正确插入，只需对新表运行 SELECT 查询：

要导出更多 BigQuery 表，只需对每个附加表重复上述步骤。

进一步阅读和支持​

除了本指南，我们还建议阅读我们的博客文章，展示 如何使用 ClickHouse 加速 BigQuery 及如何处理增量导入。

如果您在将数据从 BigQuery 转移到 ClickHouse 过程中遇到问题，请随时通过 [email protected] 联系我们。