简介
支持的数据源
| 名称 | 类型 | 状态 | 描述 |
|---|---|---|---|
 Apache Kafka | 流式 | 稳定版本 | 配置 ClickPipes，开始将 Apache Kafka 中的流式数据摄取到 ClickHouse Cloud。 |
 Confluent Cloud | 流式 | 稳定版本 | 通过我们的直连集成，释放 Confluent 与 ClickHouse Cloud 的强大协同能力。 |
 Redpanda | 流式 | 稳定版本 | 配置 ClickPipes，开始将来自 Redpanda 的流式数据摄取到 ClickHouse Cloud。 |
 AWS MSK | 流式 | 稳定版本 | 配置 ClickPipes，开始将 AWS MSK 的流式数据摄取到 ClickHouse Cloud。 |
 Azure Event Hubs | 流式 | 稳定版本 | 配置 ClickPipes，开始将 Azure Event Hubs 的流式数据摄取到 ClickHouse Cloud。有关详细说明，请参阅 Azure Event Hubs FAQ。 |
 WarpStream | 流式 | 稳定版本 | 配置 ClickPipes，开始将 WarpStream 的流式数据摄取到 ClickHouse Cloud。 |
 Amazon Kinesis | 流式 | 稳定版本 | 配置 ClickPipes，并开始将 Amazon Kinesis 中的流式数据摄取到 ClickHouse Cloud。 |
 GCP Pub/Sub | 流式 | 私有预览 | 配置 ClickPipes，并开始将 Google Cloud Pub/Sub 中的流式数据摄取到 ClickHouse Cloud。 |
 亚马逊 S3 | 对象存储 | 稳定版本 | 配置 ClickPipes，以便从对象存储摄取海量数据。 |
 Google Cloud Storage | 对象存储 | 稳定版本 | 配置 ClickPipes，以便从对象存储摄取海量数据。 |
 DigitalOcean Spaces | 对象存储 | 稳定版本 | 配置 ClickPipes，以便从对象存储中摄取海量数据。 |
 Azure Blob 存储 | 对象存储 | 稳定版本 | 配置 ClickPipes，以便从对象存储中摄取海量数据。 |
 Postgres | DBMS | 稳定版本 | 配置 ClickPipes，开始将 Postgres 数据摄取到 ClickHouse Cloud。 |
 MySQL | DBMS | Public Beta | 配置 ClickPipes，开始将 MySQL 数据摄取到 ClickHouse Cloud。 |
 MongoDB | DBMS | 私有预览 | 配置 ClickPipes，并开始将 MongoDB 数据摄取到 ClickHouse Cloud。 |
AWS IAM 数据库身份验证
静态 IP 列表
调整 ClickHouse 设置
- 创建自定义角色
CREATE ROLE my_clickpipes_role SETTINGS ...。详情请参见 CREATE ROLE 语法。 - 在创建 ClickPipes 的过程中，在
Details and Settings步骤将该自定义角色添加给 ClickPipes 用户。
调整 ClickPipes 高级设置
对象存储 ClickPipes
流式 ClickPipes
错误报告
这目前不适用于 CDC 管道 (Postgres、MySQL 和 MongoDB) ；这些管道的运行日志和错误日志可直接在 ClickHouse Cloud 控制台中查看。
记录错误
<destination_table_name>_clickpipes_error 结尾。该表会包含因数据格式错误或 schema 不匹配而产生的所有错误，并保留完整的无效消息内容。该表的生存时间 (TTL)为 7 天。
系统错误
system.clickpipes_log 表中。该表还会记录与你的 ClickPipe 运行有关的其他错误 (如网络、连接等) 。此表的 生存时间 (TTL) 为 7 天。
如果 ClickPipes 在 15 分钟后仍无法连接到数据源，或在 1 小时后仍无法连接到目标端，ClickPipes 实例将停止，并在系统错误表中记录相应的消息 (前提是 ClickHouse 实例可用) 。
监控
FAQ
- 什么是 ClickPipes？ ClickPipes 是 ClickHouse Cloud 的一项功能，可让您轻松将 ClickHouse 服务连接到外部数据源，尤其是 Kafka。借助 ClickPipes for Kafka，您可以持续、轻松地将数据加载到 ClickHouse 中，使其可用于实时分析。
- ClickPipes 是否支持数据转换？ 是的，ClickPipes 通过提供 DDL 创建能力来支持基础数据转换。随后，您可以在数据加载到 ClickHouse Cloud 服务中的目标表时，借助 ClickHouse 的 materialized views 功能 对数据进行更高级的转换。
- 使用 ClickPipes 会产生额外费用吗？ ClickPipes 按两个维度计费：Ingested Data 和 Compute。有关定价的完整详情，请参见此页面。运行 ClickPipes 还可能在目标 ClickHouse Cloud 服务上产生间接的计算和存储成本，这与任何摄取工作负载类似。
- 使用 ClickPipes for Kafka 时，有办法处理错误或故障吗？ 可以。ClickPipes for Kafka 在从 Kafka 消费数据时，如果遇到任何运行问题 (包括网络问题、连接问题等) ，都会自动重试。如果出现格式错误的数据或无效的 schema，ClickPipes 会将该记录存储到 record_error 表中，并继续处理。