您可以在这里加入私有预览等候名单。
前置条件
要按照本指南操作,你需要具备:- 一个处于活跃状态的 ClickHouse Cloud 服务
- 一个 GCP 项目,其中包含你要从中摄取数据的 Pub/Sub topic
- 在该项目中拥有授予角色所需的 IAM 权限
- 如果使用服务账号密钥身份验证,还需要拥有创建服务账号和密钥所需的 IAM 权限
身份验证模型
用于 Pub/Sub 的 ClickPipes 支持两种身份验证方法:- 服务账号密钥: 您需要创建一个 Google 服务账号,然后在 ClickPipes UI 中上传其 JSON 密钥,或通过 API 提供该密钥。ClickPipes 会在静态存储时对该密钥加密。
- GCP workload identity (Beta) : ClickPipes 使用由 ClickPipes 托管的 Google 服务账号的短期凭证,不会存储任何客户服务账号密钥。有关要求,请参阅 GCP workload identity 指南。
- 列出并读取您项目中的 topic,
- 创建和删除 ClickPipes 用于消费消息的托管订阅,
- 从该订阅消费消息,以及
- (可选) 从 Schema Registry 读取原生 Pub/Sub schema。
所需权限
ClickPipes 需要在拥有该 topic 的 GCP 项目中具备以下 IAM 权限。这些权限涵盖管道的完整生命周期:发现 (topic 列表、验证、采样) 、订阅管理、稳定运行时的摄取以及清理。topic 访问 (发现与校验)
订阅生命周期 (发现与摄取)
Schema 访问 (可选——仅适用于原生 Avro/Protobuf topic)
预定义角色
配置
创建自定义角色 (推荐)
为遵循最小权限原则,请创建一个仅包含 ClickPipes 所需权限的自定义角色。 你可以使用gcloud CLI 执行此操作:
可选权限如果你要从使用原生 Pub/Sub Avro 或 Protobuf schema 的 topic 摄取数据,请将
pubsub.schemas.get 追加到 --permissions 列表中。否则无需添加,以保持角色权限最小化。roles/pubsub.editor。
使用 GCP Workload Identity (Beta)
请按照 GCP Workload Identity 指南,从服务上下文中获取由 ClickPipes 管理的服务账号。 将您创建的自定义角色或roles/pubsub.editor 绑定到该服务账号:
authentication 设置为 SERVICE_ACCOUNT_WORKLOAD_IDENTITY。采用此身份验证方法时,请勿提供服务账号密钥。
创建服务账号
如需使用服务账号密钥进行身份验证,请为 ClickPipe 创建专用服务账号:向服务账号授予角色
在项目级别,将你创建的角色 (或roles/pubsub.editor) 绑定到服务账号:
创建并下载服务账号密钥
为服务账号创建一个 JSON 密钥,并下载到本地:clickpipes-pubsub-key.json 文件。
请将该密钥作为机密信息处理服务账号密钥可用于访问您的 GCP 项目。请妥善保管该文件,不要将其提交到版本控制系统,并定期轮换。上传后,ClickPipes 会对静态存储中的密钥进行加密。
注意事项
pubsub.topics.attachSubscription需要在topic 资源上授予,而不是在订阅上。只授予订阅级权限时,通常会遗漏这一点。- 如果您的 topic 未使用原生 Pub/Sub schema (Avro 或 Protobuf) ,则不需要
pubsub.schemas.get权限。 - 托管订阅命名为
clickpipes-{pipeID},ack deadline 为 60 秒,消息保留期为 7 天,并启用了消息排序。 - 临时发现订阅命名为
clickpipes-discovery-{uuid},ack deadline 为 10 秒,保留期为 10 分钟,并设置了 24 小时自动过期的生存时间 (TTL)。 - ClickPipes 将
PermissionDenied和Unauthenticated错误视为不可重试——如果缺少权限,管道会立即失败,而不是无限重试。