BigQuery 与 ClickHouse Cloud 的集成
你可以在这里注册加入 Private Preview 候补名单。
BigQuery ClickPipe 为从 BigQuery 向 ClickHouse Cloud 摄取数据提供了一种全托管且高可靠性的方式。在 Private Preview 阶段，它支持 initial load（初始加载） 复制方式，帮助你批量加载 BigQuery 数据集用于探索和原型验证。未来将支持 CDC —— 在此之前，我们建议在完成初始加载（initial load）之后，使用 Google Cloud Storage ClickPipe 将 BigQuery 导出的数据持续同步到 ClickHouse Cloud。
可以通过 ClickPipes UI 手动部署和管理 BigQuery ClickPipes，也可以通过 OpenAPI 和 Terraform 以编程方式进行管理。
功能特性
初始加载
BigQuery ClickPipe 会在单次批处理操作中，将 BigQuery dataset 中选定的表加载到 ClickHouse 目标表中。一旦摄取任务完成，ClickPipe 会自动停止。初始加载摄取流程需要用户提供一个用于中转的 Google Cloud Storage (GCS) 存储桶 (bucket) 。未来，该中间存储桶将由 ClickPipes 提供并托管。
ClickPipes 依赖批量导出作业，将数据从 BigQuery 导出到中转用的 GCS 存储桶中。此操作在 BigQuery 中不产生任何处理费用。
CDC（变更数据捕获）
CDC 在 Private Preview 中当前不受支持，但将在未来提供支持。在此期间，我们建议在完成初始加载后，使用 Google Cloud Storage ClickPipe 将 BigQuery 的数据导出持续同步到 ClickHouse Cloud。
数据类型映射
| BigQuery 数据类型 | ClickHouse 数据类型 | 详情 |
|---|---|---|
BOOL | Bool | |
INT64 | Int64 | |
FLOAT64 | Float64 | |
NUMERIC | Decimal(P, S) | 最高 38 位精度，最多 9 位小数。精度/小数位数会被保留。 |
BIGNUMERIC | Decimal(P, S) | 最高 76 位精度，最多 38 位小数。精度/小数位数会被保留。 |
STRING | String | |
BYTES | String | |
JSON | String (JSON) | |
DATE | Date | |
TIME | String | 微秒级精度。 |
DATETIME | DateTime | 微秒级精度。 |
TIMESTAMP | DateTime64(6) | 微秒级精度。 |
GEOGRAPHY | String | |
GEOMETRY | String | |
UUID | String | |
ARRAY<T> | Array(T) | |
ARRAY<DATE> | Array(Date) | |
STRUCT (RECORD) | String |
访问控制
认证
服务账号凭据
ClickPipes 使用服务账号密钥对您的 Google Cloud 项目进行身份认证。我们建议创建一个仅具备所需最小权限的专用服务账号，以便允许 ClickPipes 从 BigQuery 导出数据，将其加载到暂存用 GCS 存储桶中，并将其读取到 ClickHouse 中。
权限
BigQuery
服务账号必须具有以下 BigQuery 角色：
为了进一步限定访问范围，建议使用 IAM conditions 来限制该角色可以访问的资源。例如，可以将 dataViewer 角色限制为仅能访问包含需要同步的表的特定数据集：
Cloud Storage
该服务账号必须具备以下 Cloud Storage 角色：
为了进一步收窄访问范围，建议使用 IAM conditions 来限定角色可访问的资源。例如，可以将 objectAdmin 和 bucketViewer 角色限定为仅能访问为 ClickPipes 同步创建的专用 bucket。
