跳转到主内容
跳转到主内容

将 Estuary 连接到 ClickHouse

Partner Integration

Estuary 是一款 right-time 数据平台，可通过易于配置的 ETL 管道灵活地将实时与批处理数据结合起来。借助企业级安全性和多种部署选项，Estuary 能够从 SaaS、数据库和流式数据源构建持久稳定的数据流，并将其传输到包括 ClickHouse 在内的多种目标端。

Estuary 通过 Kafka ClickPipe 与 ClickHouse 连接。使用此集成时，你无需自行维护 Kafka 生态系统。

设置指南​

前提条件

  • 一个 Estuary 账户
  • 在 Estuary 中配置好一个或多个从所需数据源拉取数据的captures
  • 具有 ClickPipe 权限的 ClickHouse Cloud 账户

创建 Estuary materialization​

要将 Estuary 中源集合的数据迁移到 ClickHouse，首先需要创建一个 materialization。

  1. 在 Estuary 控制台中，进入 Destinations 页面。

  2. 点击 + New Materialization。

  3. 选择 ClickHouse connector。

  4. 在 Materialization、Endpoint 和 Source Collections 部分填写详细信息：

    • Materialization Details： 为该 materialization 提供一个唯一名称，并选择 data plane（云服务提供商和区域）
    • Endpoint Config： 提供一个安全的 Auth Token
    • Source Collections： 关联一个已有的 capture，或选择要暴露给 ClickHouse 的数据集合

  5. 点击 Next，然后点击 Save and Publish。

  6. 在 materialization 详情页面，记录下 ClickHouse materialization 的完整名称。其形式类似：your-tenant/your-unique-name/dekaf-clickhouse。

Estuary 会开始将选定的集合作为 Kafka 消息进行流式传输。ClickHouse 可以通过 Kafka ClickPipe，结合 Estuary 的 broker 信息和你提供的 auth token 来访问这些数据。

输入 Kafka 连接详情​

在 ClickHouse 中设置一个新的 Kafka ClickPipe，并输入连接详情：

  1. 在 ClickHouse Cloud 控制台中，选择 Data sources。

  2. 创建一个新的 ClickPipe。

  3. 选择 Apache Kafka 作为数据源。

  4. 使用 Estuary 的 broker 和 registry 信息输入 Kafka 连接详情：

    • 为 ClickPipe 提供一个名称
    • 对于 broker，使用：dekaf.estuary-data.com:9092
    • 将认证方式保留为默认的 SASL/PLAIN 选项
    • 对于 user，输入来自 Estuary 的完整 materialization 名称（例如：your-tenant/your-unique-name/dekaf-clickhouse）
    • 对于 password，输入为该 materialization 提供的 auth token

  5. 打开 schema registry 选项

    • 对于 schema URL，使用：https://dekaf.estuary-data.com
    • schema key 与 broker user 相同（即你的 materialization 名称）
    • secret 与 broker password 相同（即你的 auth token）

配置传入数据​

  1. 选择一个 Kafka topic（来自 Estuary 的某个数据集合）。

  2. 选择一个 offset。

  3. ClickHouse 会检测到该 topic 的消息。你可以继续进入 Parse information 部分来配置表信息。

  4. 选择创建新表或将数据写入匹配的现有表。

  5. 将源字段映射到表的列，确认列名、类型以及其是否可为空（Nullable）。

  6. 在最后的 Details and settings 部分，你可以为专用数据库用户选择权限。

在对配置满意后，创建 ClickPipe。

ClickHouse 会为你的新数据源进行创建和配置，并开始从 Estuary 消费消息。你可以根据需要创建任意数量的 ClickPipes，以便从所有目标数据集合进行流式传输。

其他资源​

如需了解更多关于与 Estuary 设置集成的信息，请参阅 Estuary 的文档：