跳转到主要内容
你可以在这里加入私有预览候补名单。
BigQuery ClickPipe 提供了一种完全托管且具备高弹性的方式,可将 BigQuery 中的数据摄取到 ClickHouse Cloud。在私有预览阶段,它支持仅初始加载、初始加载后持续复制,以及跳过初始加载直接持续复制。CDC (变更数据捕获) 方法包括基于查询的复制、APPENDS 和 CHANGES。 BigQuery ClickPipes 既可通过 ClickPipes UI 手动部署和管理,也可通过 OpenAPI 和 Terraform 以编程方式进行部署和管理。

功能

初始加载

初始加载会将 BigQuery 数据集中选定的表复制到 ClickHouse。初始加载既可以单独运行,也可以在完成后接着进行持续复制。加载过程会使用您提供的 Google Cloud Storage (GCS) 桶作为暂存区。仅执行初始加载的 ClickPipe 会在加载完成后停止。
ClickPipes 使用 BigQuery EXPORT DATA 查询将数据复制到暂存桶。运行这些查询会产生 BigQuery 费用,同时还会产生 GCS 存储费用。

持续复制

完成初始加载后,BigQuery ClickPipe 可以轮询新数据并将其写入 ClickHouse。您也可以跳过初始加载,直接启动持续复制。请根据源表的变更方式选择复制方式。以下示例仅展示查询形态;ClickPipes 实际会选取已配置的列以及事件元数据。 使用基于查询的复制时,需要为每个表选择一个水位线列。该列必须是 TIMESTAMP 类型,且必须包含在要复制的列中。每次插入或更新行时都应设置该列的值。如果某行发生了变更但水位线值没有更新,ClickPipes 将无法捕获该变更。如需复制删除操作,请使用 CHANGES。 两种基于事件的方式都要求使用常规 BigQuery 表。APPENDS 无需启用变更历史记录。若要使用 CHANGES,请在创建 ClickPipe 之前为每个源表启用变更历史记录:
CHANGES 还要求目标表配置 BigQuery 主键或自定义 sorting key。请选择能够唯一标识每一行的列,以便 ClickPipes 将更新和删除操作应用到对应的行。BigQuery 不强制执行主键约束,因此源数据必须保证这些值唯一。
APPENDS 和 CHANGES 只能读取源表在 BigQuery 时间旅行窗口内发生的变更。该窗口默认为七天,最短可设为两天。如果复制进度超出该窗口,请重新执行初始加载,以恢复完整的数据副本。BigQuery 会对这三种方法产生的查询收费。为 CHANGES 启用变更历史记录还会增加 BigQuery 存储成本。

数据类型映射

BigQuery 数据类型。

访问控制

身份验证

服务账号凭证

ClickPipes 使用服务账号密钥对你的 Google Cloud 项目进行身份验证。我们建议创建一个专用的服务账号,并仅授予满足要求的最小权限,以便 ClickPipes 能够从 BigQuery 导出数据、将其加载到暂存 GCS 存储桶中,并将其读入 ClickHouse。
创建具有 BigQuery 和云存储权限的服务账号密钥

GCP Workload Identity (Beta)

请按照 GCP Workload Identity 指南,从 ClickPipes 服务上下文中获取托管服务账号。为该账号授予下文所列的 BigQuery 和 GCS 角色,然后使用 SERVICE_ACCOUNT_WORKLOAD_IDENTITY 身份验证方式创建管道。使用此身份验证方法时,请勿提供服务账号凭证。

权限

BigQuery

ClickPipes 使用的服务账号 (无论是由你提供,还是通过 workload identity 管理) 需要具备以下 BigQuery 角色: 如需启用持续复制,还需在 Google Cloud 项目级别授予 roles/bigquery.readSessionUser 角色。ClickPipes 通过 BigQuery Storage Read API 创建读取会话,并读取 CDC (变更数据捕获) 查询结果。该角色无法在数据集级别授予;请保留源数据集或表上的 roles/bigquery.dataViewer 角色,以便服务账号能够读取其中的数据。 为进一步缩小访问范围,我们建议使用 IAM 条件 来限制该角色可访问的资源。例如,你可以将 dataViewer 角色限制为仅可访问包含待同步表的特定数据集:

云存储

服务账号必须具备以下 Cloud Storage 角色: 为进一步收窄访问范围,我们建议使用 IAM 条件 来限制角色可访问的资源。例如,你可以将 objectAdmin 和 bucketViewer 角色限制为只能访问专门为 ClickPipes 同步创建的存储桶。