可选方案
为你的使用场景选择合适的方案取决于多种因素,包括 ClickHouse 的部署类型、数据流向以及运维要求。
如需更详细地比较这些方案,请参见如何选择方案。
ClickPipes for Kafka
ClickPipes 是一个托管式集成平台,只需点击几个按钮,就能轻松从多种来源摄取数据。由于它是全托管的,并专为生产环境工作负载打造,ClickPipes 可显著降低基础设施和运维成本,无需依赖外部数据流处理和 ETL 工具。主要功能
- 针对 ClickHouse Cloud 优化,提供极致性能
- 支持横向和纵向扩展,适用于高吞吐量工作负载
- 内置容错能力,支持可配置副本和自动重试
- 可通过 ClickHouse Cloud UI、Open API 或 Terraform 进行部署和管理
- 提供企业级安全保障,支持云原生授权 (IAM) 和私有连接 (PrivateLink)
- 支持广泛的数据源,包括 Confluent Cloud、亚马逊 MSK、Redpanda Cloud 和 Azure Event Hubs
- 支持大多数常见的序列化格式 (JSON、Avro、Protobuf)
入门
要开始使用 ClickPipes for Kafka,请参阅参考文档,或前往 ClickHouse Cloud UI 的Data Sources 选项卡。
Kafka Connect Sink
Kafka Connect 是一个开源框架,可充当集中式数据枢纽,用于在 Kafka 与其他数据系统之间进行简单的数据集成。ClickHouse Kafka Connect Sink connector 提供了一种可扩展且高度可配置的方案,可从 Apache Kafka 和其他兼容 Kafka API 的消息代理中读取数据。主要特性
- 可配置为支持精确一次语义
- 支持大多数常见序列化格式 (JSON、Avro、Protobuf)
- 持续针对 ClickHouse Cloud 进行测试验证
快速开始
要开始使用 ClickHouse Kafka Connect Sink,请参阅参考文档。Kafka 表引擎
Kafka 表引擎 可用于从 Apache Kafka 和其他兼容 Kafka API 的消息代理读取数据,也可向其写入数据。此选项随开源 ClickHouse 一同提供,适用于所有部署类型。主要特性
快速开始
要开始使用 Kafka 表引擎,请参阅参考文档。选择一种方案
其他选项
- Confluent - 在 Confluent Cloud 上,可以使用全托管的 ClickHouse Connector Sink,也可以将其作为自定义连接器自行上传。您还可以使用 HTTP Sink 连接器 (既可自管理,也可在 Confluent Cloud 上全托管) ,通过 HTTP 或 HTTPS 将 Apache Kafka 与 API 集成。
- Vector - Vector 是一个与厂商无关的数据管道。它能够从 Kafka 读取数据并将事件发送到 ClickHouse,因此是一个稳健的集成选项。
- JDBC Connect Sink - Kafka Connect JDBC Sink 连接器允许您将数据从 Kafka topic 导出到任何配备 JDBC 驱动的关系型数据库。
- 自定义代码 - 如果需要对事件进行自定义处理,则可以使用基于 Kafka 和 ClickHouse 客户端库 的自定义代码。