跳到主要内容
跳到主要内容

创建你的第一个 Kafka ClickPipe

在本指南中,我们将引导你完成创建第一个 Kafka ClickPipe 的过程。

导航到数据源

在左侧菜单中选择 Data Sources 按钮,然后点击“Set up a ClickPipe”。

选择导入

选择数据源

在列表中选择你的 Kafka 数据源。

选择数据源类型

配置数据源

填写表单,为你的 ClickPipe 提供名称、描述(可选)、凭证以及其他连接详细信息。

填写连接详细信息

配置 schema registry(可选)

Avro 流需要有效的 schema。有关如何配置 schema registry 的更多详细信息,请参阅 Schema registries

配置反向私有端点(可选)

配置一个 Reverse Private Endpoint,使 ClickPipes 能够使用 AWS PrivateLink 连接到你的 Kafka 集群。 更多信息请参阅我们的 AWS PrivateLink 文档

选择你的 topic

选择你的 topic,UI 将显示该 topic 中的一个示例文档。

设置你的 topic

配置目标表

在下一步中,你可以选择将数据摄取到一个新的 ClickHouse 表,或者复用一个已有的表。按照界面中的说明修改表名、schema 和设置。你可以在顶部的示例表中实时预览你的更改。

设置表、schema 和相关配置

你也可以使用提供的控件自定义高级设置。

设置高级选项

配置权限

ClickPipes 会创建一个专用用户,用于向目标表写入数据。你可以为该内部用户选择一个角色,可以使用自定义角色或以下预定义角色之一:

  • Full access:对整个集群具有完全访问权限。如果你在目标表上使用 Materialized View 或 Dictionary,这可能会很有用。
  • Only destination table:仅对目标表具有 INSERT 权限。
权限

完成设置

点击“Create ClickPipe”会创建并运行你的 ClickPipe。它现在会显示在 Data Sources 区域中。

查看概览