将 Confluent Cloud 与 ClickHouse 集成
前提条件
我们假设您熟悉:
- ClickHouse Connector Sink
- Confluent Cloud 和 自定义连接器。
ClickHouse 与 Confluent Cloud 的官方 Kafka 连接器
在 Confluent Cloud 上安装
这是一个快速指南,帮助您在 Confluent Cloud 上启动 ClickHouse Sink Connector。 有关更多详细信息,请参考 官方 Confluent 文档。
创建主题
在 Confluent Cloud 上创建主题相当简单,您可以在 这里 找到详细说明。
重要说明
- Kafka 主题名称必须与 ClickHouse 表名称相同。调整此设置的方法是使用转换器(例如
ExtractTopic
)。 - 更多分区并不总意味着更高的性能 - 请参阅我们即将发布的指南以获取更多详细信息和性能建议。
安装连接器
您可以从我们的 仓库 下载连接器 - 也欢迎您在此处提交评论和问题!
导航至 "连接器插件" -> "添加插件",并使用以下设置:
示例:

收集连接详细信息
To connect to ClickHouse with HTTP(S) you need this information:
-
The HOST and PORT: typically, the port is 8443 when using TLS or 8123 when not using TLS.
-
The DATABASE NAME: out of the box, there is a database named
default
, use the name of the database that you want to connect to. -
The USERNAME and PASSWORD: out of the box, the username is
default
. Use the username appropriate for your use case.
The details for your ClickHouse Cloud service are available in the ClickHouse Cloud console. Select the service that you will connect to and click Connect:

Choose HTTPS, and the details are available in an example curl
command.

If you are using self-managed ClickHouse, the connection details are set by your ClickHouse administrator.
ClickHouseにHTTP(S)で接続するには、次の情報が必要です:
-
HOSTとPORT: 通常、ポートはTLSを使用する場合は8443、TLSを使用しない場合は8123です。
-
DATABASE NAME: デフォルトでは、
default
という名前のデータベースがあります。接続したいデータベースの名前を使用してください。 -
USERNAMEとPASSWORD: デフォルトでは、ユーザー名は
default
です。ご利用のケースに適したユーザー名を使用してください。
ClickHouse Cloudサービスの詳細はClickHouse Cloudコンソールで確認できます。接続するサービスを選択し、Connectをクリックします:

HTTPSを選択すると、詳細が例のcurl
コマンドで提供されます。

セルフマネージドのClickHouseを使用している場合、接続の詳細はClickHouseの管理者によって設定されます。
配置连接器
导航至 Connectors
-> Add Connector
并使用以下设置(请注意,这些值仅为示例):
指定连接终端
您需要指定连接器可以访问的允许列表终端。
添加网络 egress 终端时,必须使用完全合格的域名(FQDN)。
示例:u57swl97we.eu-west-1.aws.clickhouse.com:8443
您必须指定 HTTP(S) 端口。连接器尚不支持原生协议。
您应该一切准备就绪!
已知限制
- 自定义连接器必须使用公共互联网终端。静态 IP 地址不受支持。
- 您可以覆盖某些自定义连接器属性。请参阅 官方文档中的完整列表。
- 自定义连接器仅在 某些 AWS 区域 可用。
- 请参阅 官方文档中的自定义连接器限制列表 。