跳到主要内容
跳到主要内容

将 Confluent Cloud 与 ClickHouse 集成

前提条件

我们假设您熟悉:

ClickHouse 与 Confluent Cloud 的官方 Kafka 连接器

在 Confluent Cloud 上安装

这是一个快速指南,帮助您在 Confluent Cloud 上启动 ClickHouse Sink Connector。 有关更多详细信息,请参考 官方 Confluent 文档

创建主题

在 Confluent Cloud 上创建主题相当简单,您可以在 这里 找到详细说明。

重要说明

  • Kafka 主题名称必须与 ClickHouse 表名称相同。调整此设置的方法是使用转换器(例如 ExtractTopic)。
  • 更多分区并不总意味着更高的性能 - 请参阅我们即将发布的指南以获取更多详细信息和性能建议。

安装连接器

您可以从我们的 仓库 下载连接器 - 也欢迎您在此处提交评论和问题!

导航至 "连接器插件" -> "添加插件",并使用以下设置:

示例:

收集连接详细信息

To connect to ClickHouse with HTTP(S) you need this information:

  • The HOST and PORT: typically, the port is 8443 when using TLS or 8123 when not using TLS.

  • The DATABASE NAME: out of the box, there is a database named default, use the name of the database that you want to connect to.

  • The USERNAME and PASSWORD: out of the box, the username is default. Use the username appropriate for your use case.

The details for your ClickHouse Cloud service are available in the ClickHouse Cloud console. Select the service that you will connect to and click Connect:

Choose HTTPS, and the details are available in an example curl command.

If you are using self-managed ClickHouse, the connection details are set by your ClickHouse administrator.


ClickHouseにHTTP(S)で接続するには、次の情報が必要です:

  • HOSTとPORT: 通常、ポートはTLSを使用する場合は8443、TLSを使用しない場合は8123です。

  • DATABASE NAME: デフォルトでは、defaultという名前のデータベースがあります。接続したいデータベースの名前を使用してください。

  • USERNAMEとPASSWORD: デフォルトでは、ユーザー名はdefaultです。ご利用のケースに適したユーザー名を使用してください。

ClickHouse Cloudサービスの詳細はClickHouse Cloudコンソールで確認できます。接続するサービスを選択し、Connectをクリックします:

HTTPSを選択すると、詳細が例のcurlコマンドで提供されます。

セルフマネージドのClickHouseを使用している場合、接続の詳細はClickHouseの管理者によって設定されます。

配置连接器

导航至 Connectors -> Add Connector 并使用以下设置(请注意,这些值仅为示例):

指定连接终端

您需要指定连接器可以访问的允许列表终端。 添加网络 egress 终端时,必须使用完全合格的域名(FQDN)。 示例:u57swl97we.eu-west-1.aws.clickhouse.com:8443

备注

您必须指定 HTTP(S) 端口。连接器尚不支持原生协议。

阅读文档。

您应该一切准备就绪!

已知限制