Skip to main content
GCS ClickPipe 提供了一种完全托管且具备高弹性的方式,用于从 Google Cloud Storage (GCS) 摄取数据。它同时支持 一次性持续摄取,并具备精确一次语义。
1

选择数据源

1. 在 ClickHouse Cloud 中,先在主导航菜单中选择 数据源,再点击 Create ClickPipe
选择导入
2. 点击 Google Cloud Storage 卡片。
选择导入
2

设置 ClickPipe 连接

1. 要设置新的 ClickPipe,您需要提供连接到对象存储服务并完成身份验证所需的详细信息。
填写连接信息
  • GCS 文件路径:GCS ClickPipe 使用 Cloud Storage 的 XML API 以实现互操作,因此需要使用 storage.googleapis.com 端点:
    您可以使用 POSIX 通配符来匹配多个文件或前缀。有关支持的模式,请参阅参考文档
2. 点击 Incoming data。ClickPipes 将从您的存储桶拉取元数据,以便进行下一步。
3

选择数据格式

界面将显示指定 bucket 中的文件列表。 选择数据格式 (目前支持部分 ClickHouse 格式) ,并决定是否启用持续摄取。 更多详细信息,请参阅概览页面中的“持续摄取”部分。
设置数据格式和 topic
4

配置表、schema 和设置

在下一步中,您可以选择将数据摄取到新的 ClickHouse 表中,或复用现有表。 按照界面上的说明修改表名、schema 和设置。 您可以在顶部的样本表中实时预览这些更改。
设置表、schema 和设置
您还可以使用提供的控件自定义高级设置。
设置高级控件
或者,您也可以选择将数据摄取到现有的 ClickHouse 表中。 在这种情况下,界面会允许您将源字段映射到所选目标表中的 ClickHouse 字段。
使用现有表
您还可以将虚拟列 (如 _path_size) 映射到字段。
5

配置权限

最后,您可以为内部 ClickPipes 用户配置权限。权限: ClickPipes 会创建一个专用用户,用于将数据写入目标表。您可以为该内部用户选择角色,可使用自定义角色或预定义角色之一:
  • Full access:拥有整个 cluster 的完全访问权限。如果目标表使用了 materialized view 或 字典,则需要选择此项。
  • Only destination table:仅拥有目标表的 INSERT 权限。
权限
6

完成设置

点击“Complete Setup”后,系统将注册您的 ClickPipe,随后您可以在摘要表中看到它。
成功提示
删除提示
摘要表提供了相关控件,可用于显示源中的样本数据,或显示 ClickHouse 中目标表的数据。
查看目标端
以及用于删除 ClickPipe 并显示摄取作业摘要的控件。
查看概览
恭喜! 您已成功设置第一个 ClickPipe。 如果这是一个配置为持续摄取的 ClickPipe,它将持续运行,并从远程数据源实时摄取数据。 否则,它会摄取该批次数据后完成。
最后修改于 2026年7月23日