跳到主要内容
跳到主要内容

将 Confluent Cloud 与 ClickHouse 集成

先决条件

我们假设您熟悉:

ClickHouse 的官方 Kafka 连接器与 Confluent Cloud

创建主题

在 Confluent Cloud 上创建主题非常简单,详细说明请参见 这里

重要说明

  • Kafka 主题名称必须与 ClickHouse 表名称相同。调整此设置的方法是使用转化器(例如 ExtractTopic)。
  • 更多的分区并不总是意味着更高的性能 - 请查看我们即将发布的指南以获取更多详情和性能提示。

收集您的连接详细信息

要通过 HTTP(S) 连接到 ClickHouse,您需要以下信息:

  • 主机端口:通常,当使用 TLS 时端口为 8443,当不使用 TLS 时端口为 8123。

  • 数据库名称:开箱即用时,有一个名为 default 的数据库,请使用您要连接的数据库名称。

  • 用户名密码:开箱即用时,用户名为 default。请使用适合您用例的用户名。

您的 ClickHouse Cloud 服务的详细信息可在 ClickHouse Cloud 控制台中获得。 选择您要连接的服务并点击 连接

ClickHouse Cloud 服务连接按钮

选择 HTTPS,详细信息可在示例的 curl 命令中获得。

ClickHouse Cloud HTTPS 连接详细信息

如果您使用的是自管理的 ClickHouse,连接详细信息由您的 ClickHouse 管理员设置。

安装连接器

按照 官方文档 在 Confluent Cloud 上安装完全托管的 ClickHouse Sink 连接器。

配置连接器

在配置 ClickHouse Sink 连接器时,您需要提供以下详细信息:

  • 您的 ClickHouse 服务器的主机名
  • 您的 ClickHouse 服务器的端口(默认是 8443)
  • 您的 ClickHouse 服务器的用户名和密码
  • 在 ClickHouse 中将写入数据的数据库名称
  • 用于将数据写入 ClickHouse 的 Kafka 主题名称

Confluent Cloud UI 支持高级配置选项,以调整轮询间隔、批量大小和其他参数以优化性能。

已知限制