跳转到主要内容
你可以在这里加入私有预览候补名单。
BigQuery ClickPipe 提供了一种完全托管且具备高弹性的方式,可将 BigQuery 中的数据摄取到 ClickHouse Cloud。在私有预览阶段,它支持仅初始加载、初始加载后持续复制,以及跳过初始加载直接持续复制。CDC (变更数据捕获) 方法包括基于查询的复制、APPENDS 和 CHANGES。 BigQuery ClickPipes 既可通过 ClickPipes UI 手动部署和管理,也可通过 OpenAPI 和 Terraform 以编程方式进行部署和管理。

前提条件

1

选择数据源

1. 在 ClickHouse Cloud 的主导航菜单中选择 数据源,然后点击 创建 ClickPipe。
选择导入
2. 点击 BigQuery 卡片。
选择 BigQuery 卡片
2

配置 ClickPipe 连接

提供 BigQuery 项目的连接信息。如果要执行初始加载,还需提供用于暂存数据的 GCS 存储桶。1. 上传为 ClickPipes 创建的服务账号的 .json 密钥。确保该服务账号具有所需的最低权限。
上传服务账号密钥
2. 选择复制模式:仅初始加载、初始加载 + CDC 或 仅 CDC。如果选择 CDC 模式,还需选择基于查询或基于事件的方法。
BigQuery 复制模式选项:仅初始加载、初始加载 + CDC 和仅 CDC
3. 如果要执行初始加载,请提供用于暂存数据的 GCS 存储桶路径。4. 点击下一步进行验证。
3

配置 ClickPipe

为所选阶段设置以下配置值。初始加载设置仅在 ClickPipe 导入现有数据时生效;CDC 设置仅在 ClickPipe 继续复制变更时生效。
BigQuery ClickPipe 的同步间隔、初始加载和 CDC 设置
4

配置表

1. 选择用于存放 BigQuery 复制表的 ClickHouse 数据库。可以选择现有数据库,也可以创建新数据库。2. 选择源表。可以修改每个目标表的名称,并在 列设置 中选择要复制的列。列表中仅显示服务账号有权访问的数据集。
选择 BigQuery 源表,并配置目标表名称、CDC 水位线、sorting key 和高级设置
3. 为每个表设置 CDC 选项。截图展示的是基于查询的设置。选择一个类型为 TIMESTAMP 的 CDC 水位线列,将其保留在要复制的列中,并在对应行发生变化时更新该列的值。如果使用基于事件的复制,则改为选择 APPENDS 或 CHANGES。使用 CHANGES 时,源表必须设置 enable_change_history = TRUE。4. 检查 Sorting key。如果行可能被更新或删除,请选择能够标识每一行且值保持不变的列。使用 CHANGES 时,源表必须有主键,否则必须在此处设置 sorting key。ClickHouse 使用 sorting key 组织数据,以便执行查询;如果未设置,则使用 tuple(),且不会建立主索引。5. 打开 高级设置,选择 ClickHouse 表的 引擎,或为初始加载指定可选的分区键。此分区键不会设置目标表的 PARTITION BY 表达式。
5

配置权限

最后,您可以为 ClickPipes 内部用户配置权限。权限:ClickPipes 会创建一个专用用户,用于向目标表写入数据。您可以为该内部用户指定自定义角色,也可以选择以下预定义角色之一:
  • Full access:拥有集群的完全访问权限。如果目标表使用 materialized view 或字典,则必须选择此角色。
  • Only destination:仅拥有向目标表插入数据的权限。
6

完成配置

点击 Create ClickPipe 完成设置。页面随后会跳转至概览页,您可以在这里查看初始数据加载进度,并点击查看 BigQuery ClickPipes 的详细信息。
权限