创建第一个 Amazon S3 ClickPipe

S3 ClickPipe 提供了一种完全托管且具备高可用性的方式，将来自 Amazon S3 和兼容 S3 的对象存储中的数据摄取到 ClickHouse Cloud 中。它支持具有恰好一次（exactly-once）语义的一次性摄取和持续摄取。

可以通过 ClickPipes UI 手动部署和管理 S3 ClickPipes，也可以使用 OpenAPI 和 Terraform 以编程方式进行管理。

选择数据源

1. 在 ClickHouse Cloud 中，通过主导航菜单选择 Data sources，然后点击 Create ClickPipe。

2. 点击 Amazon S3 卡片。您也可以使用此卡片连接 ClickPipes UI 中未列出的其他 S3 兼容服务。

提示

由于各对象存储服务提供商在 URL 格式和 API 实现方面存在差异，并非所有 S3 兼容服务都能被直接支持。如果您在使用未列在受支持数据源中的服务时遇到问题，请联系我方团队。

设置 ClickPipe 连接

1. 要创建一个新的 ClickPipe，你需要提供如何连接到对象存储服务并进行身份验证的详细信息。

2. 点击 Amazon S3 卡片。您也可以使用此卡片连接 ClickPipes UI 中未列出的其他 S3 兼容服务。

提示

由于各对象存储服务提供商在 URL 格式和 API 实现方面存在差异，并非所有 S3 兼容服务都能被直接支持。如果您在使用未列在受支持数据源中的服务时遇到问题，请联系我方团队。

2. 点击 Incoming data。ClickPipes 将从你的 bucket（存储桶）中获取元数据，用于下一步。

选择数据格式

UI 会显示指定 bucket 中的文件列表。 选择你的数据格式（当前我们支持部分 ClickHouse 格式），以及是否启用持续摄取。 更多详情请参阅概览页面中的 “continuous ingest” 部分。

配置表、schema 和设置

在下一步中，你可以选择将数据摄取到一个新的 ClickHouse 表中，或复用现有表。 按照界面中的说明修改表名、schema（表结构）和相关设置。 你可以在顶部的示例表中实时预览你的更改。

你也可以使用提供的控件自定义高级设置。

或者，你也可以选择将数据摄取到现有的 ClickHouse 表中。 在这种情况下，UI 将允许你把来源中的字段映射到所选目标表中的 ClickHouse 字段。

参考资料

你还可以将 虚拟列，例如 _path 或 _size，映射到字段。

配置权限

最后，你可以为内部 ClickPipes 用户配置权限。

Permissions： ClickPipes 将创建一个专用用户用于向目标表写入数据。你可以为该内部用户选择一个角色，可以使用自定义角色或预定义角色之一：

• Full access：对集群拥有完全访问权限。如果你在目标表上使用 materialized view 或字典，则需要此权限。
• Only destination table：仅对目标表具有 INSERT 权限。

完成设置

点击 “Complete Setup” 后，系统会注册你的 ClickPipe，你将能在汇总表中看到它的条目。

汇总表提供控件，用于在 ClickHouse 中显示来源或目标表的示例数据。

还提供控件用于移除 ClickPipe，并显示摄取作业的概要信息。

恭喜！ 你已成功完成第一个 ClickPipe 的设置。 如果这是一个配置为持续摄取的 ClickPipe，它将持续运行，从远程数据源实时摄取数据。 否则，它将执行一次批量摄取并结束。