将 Confluent Cloud 与 ClickHouse 集成

前提条件

我们假设您对以下内容有所了解：

• ClickHouse 连接器接收器
• Confluent Cloud 和 自定义连接器。

ClickHouse 的官方 Kafka 连接器与 Confluent Cloud

在 Confluent Cloud 上安装

这是一个快速指南，旨在帮助您在 Confluent Cloud 上开始使用 ClickHouse 接收器连接器。 有关更多详细信息，请参考 官方 Confluent 文档。

创建一个主题

在 Confluent Cloud 上创建主题相当简单，详细说明请参考 这里。

重要说明

• Kafka 主题名称必须与 ClickHouse 表名称相同。调整此设置的方法是使用转换器（例如 ExtractTopic）。
• 更多分区并不总是意味着更高的性能 - 请参阅我们即将发布的指南以获取更多详细信息和性能技巧。

安装连接器

您可以从我们的 代码库 下载连接器 - 请随时在那提交意见和问题！

导航到 "连接器插件" -> "添加插件"，并使用以下设置：

示例：

收集您的连接详细信息

要通过 HTTP(S) 连接到 ClickHouse，您需要以下信息：

• HOST 和 PORT：通常，当使用 TLS 时，端口为 8443；当不使用 TLS 时，端口为 8123。

• 数据库名称：开箱即用时，有一个名为 default 的数据库，请使用您要连接的数据库名称。

• 用户名和密码：开箱即用时，用户名为 default。请使用适合您用例的用户名。

您的 ClickHouse Cloud 服务详细信息可在 ClickHouse Cloud 控制台中找到。 选择您要连接的服务并点击 Connect：

选择 HTTPS，详细信息会在示例 curl 命令中提供。

如果您使用的是自管理的 ClickHouse，连接详细信息由您的 ClickHouse 管理员设置。

配置连接器

导航到 Connectors -> 添加连接器，并使用以下设置（请注意，值仅为示例）：

指定连接端点

您需要指定连接器可以访问的允许列表的端点。 添加网络出口端点时，必须使用完全合格的域名 (FQDN)。 示例：u57swl97we.eu-west-1.aws.clickhouse.com:8443

备注

您必须指定 HTTP(S) 端口。连接器尚不支持本机协议。

阅读文档。

您应该准备就绪！

已知限制

• 自定义连接器必须使用公共互联网端点。不支持静态 IP 地址。
• 您可以覆盖一些自定义连接器属性。请参阅 官方文档 中的完整列表。
• 自定义连接器仅在 某些 AWS 区域 中可用。
• 请查看 官方文档中的自定义连接器限制列表。