设置指南
- 一个 Estuary 账户
- Estuary 中一个或多个从所需数据源拉取数据的 capture
- 一个具有 ClickPipe 权限的 ClickHouse Cloud 账户
1
创建 Estuary 物化
要将 Estuary 中源 collection 的数据传输到 ClickHouse,首先需要创建一个物化。
- 在 Estuary 控制台中,前往 目标端页面。
- 单击 + 新建物化。
- 选择 ClickHouse Kafka API connector。
- 填写“物化”“端点”和“源 collection”部分的信息:
- **物化详细信息:**为物化指定唯一名称,并选择数据平面 (云提供商和区域)
- 端点配置:提供安全的身份验证令牌
- **源 collection:**关联现有的 capture,或选择要向 ClickHouse 提供的数据 collection
- 单击 下一步,然后单击 保存并发布。
- 在物化详情页面中,记下 ClickHouse 物化的全名。格式类似于
your-tenant/your-unique-name/dekaf-clickhouse。
2
输入 Kafka 连接信息
在 ClickHouse 中设置新的 Kafka ClickPipe,并输入连接信息:
- 在 ClickHouse Cloud 控制台中,选择 数据源。
- 创建新的 ClickPipe。
- 选择 Apache Kafka 作为数据源。
- 使用 Estuary 的 broker 和 registry 信息填写 Kafka 连接信息:
- 为 ClickPipe 命名
- broker 使用:
dekaf.estuary-data.com:9092 - 身份验证保留默认的
SASL/PLAIN选项 - 用户名请输入 Estuary 中物化的全名 (例如
your-tenant/your-unique-name/dekaf-clickhouse) - 密码请输入为该物化提供的身份验证令牌
- 启用 Schema Registry 选项:
- schema URL 使用:
https://dekaf.estuary-data.com - schema 密钥与 broker 用户名相同 (即物化名称)
- secret 与 broker 密码相同 (即身份验证令牌)
- schema URL 使用:
3
配置传入数据
- 选择一个 Kafka topic (即 Estuary 中的一个数据 collection) 。
- 选择 offset。
- ClickHouse 将检测 topic 中的消息。您可以继续前往 解析信息 部分配置表信息。
- 选择创建新表,或将数据加载到匹配的现有表中。
- 将源字段映射到表列,确认列名、类型以及是否可为 null。
- 在最后的 详细信息和设置 部分,您可以为专用数据库用户选择权限。
其他资源
- 有关 ClickPipes 集成,请参阅 Estuary 的 ClickHouse 物化文档。
- Estuary 通过 Dekaf 将数据作为 Kafka 消息公开。有关 Dekaf 的更多信息,请参阅 Estuary 指南。