将 Confluent Cloud 与 ClickHouse 集成
先决条件
我们假设您熟悉:
- ClickHouse Connector Sink
- Confluent Cloud
ClickHouse 的官方 Kafka 连接器与 Confluent Cloud
创建主题
在 Confluent Cloud 上创建主题非常简单,详细说明请参见 这里。
重要说明
- Kafka 主题名称必须与 ClickHouse 表名称相同。调整此设置的方法是使用转化器(例如
ExtractTopic
)。 - 更多的分区并不总是意味着更高的性能 - 请查看我们即将发布的指南以获取更多详情和性能提示。
收集您的连接详细信息
要通过 HTTP(S) 连接到 ClickHouse,您需要以下信息:
-
主机和端口:通常,当使用 TLS 时端口为 8443,当不使用 TLS 时端口为 8123。
-
数据库名称:开箱即用时,有一个名为
default
的数据库,请使用您要连接的数据库名称。 -
用户名和密码:开箱即用时,用户名为
default
。请使用适合您用例的用户名。
您的 ClickHouse Cloud 服务的详细信息可在 ClickHouse Cloud 控制台中获得。 选择您要连接的服务并点击 连接:

选择 HTTPS,详细信息可在示例的 curl
命令中获得。

如果您使用的是自管理的 ClickHouse,连接详细信息由您的 ClickHouse 管理员设置。
安装连接器
按照 官方文档 在 Confluent Cloud 上安装完全托管的 ClickHouse Sink 连接器。
配置连接器
在配置 ClickHouse Sink 连接器时,您需要提供以下详细信息:
- 您的 ClickHouse 服务器的主机名
- 您的 ClickHouse 服务器的端口(默认是 8443)
- 您的 ClickHouse 服务器的用户名和密码
- 在 ClickHouse 中将写入数据的数据库名称
- 用于将数据写入 ClickHouse 的 Kafka 主题名称
Confluent Cloud UI 支持高级配置选项,以调整轮询间隔、批量大小和其他参数以优化性能。
已知限制
- 请参见 官方文档中的连接器限制列表