Schema registries
ClickPipes 支持 Avro 数据流的模式注册中心。
Supported registries for Kafka ClickPipes
支持与 Confluent Schema Registry API 兼容的模式注册中心。这包括:
- Confluent Schema Registry
- Redpanda Schema Registry
ClickPipes 目前不支持 AWS Glue Schema Registry 或 Azure Schema Registry。如果您需要对这些模式注册中心的支持,请 联系团队。
Configuration
使用 Avro 数据的 ClickPipes 需要一个模式注册中心。这可以通过以下三种方式之一进行配置:
- 提供模式主题的完整路径(例如
https://registry.example.com/subjects/events
)- 可选地,通过在 URL 后附加
/versions/[version]
来引用特定版本(否则 ClickPipes 将检索最新版本)。
- 可选地,通过在 URL 后附加
- 提供模式 ID 的完整路径(例如
https://registry.example.com/schemas/ids/1000
) - 提供根模式注册中心的 URL(例如
https://registry.example.com
)
How it works
ClickPipes 动态地从配置的模式注册中心检索和应用 Avro 模式。
- 如果消息中嵌入了模式 ID,将使用该 ID 来检索模式。
- 如果消息中未嵌入模式 ID,将使用 ClickPipe 配置中指定的模式 ID 或主题名称来检索模式。
- 如果消息是在未嵌入模式 ID 的情况下写入,并且在 ClickPipe 配置中未指定模式 ID 或主题名称,则将不检索模式,该消息将被跳过,并在 ClickPipes 错误表中记录
SOURCE_SCHEMA_ERROR
。 - 如果消息不符合模式,则该消息将被跳过,并在 ClickPipes 错误表中记录
DATA_PARSING_ERROR
。
Schema mapping
以下规则应用于检索到的 Avro 模式与 ClickHouse 目标表之间的映射:
- 如果 Avro 模式包含 ClickHouse 目标映射中未包含的字段,则该字段将被忽略。
- 如果 Avro 模式缺少 ClickHouse 目标映射中定义的字段,则 ClickHouse 列将填充为“零”值,例如 0 或空字符串。请注意,DEFAULT 表达式目前不会被 ClickPipes 插入评估(这是暂时性限制,待更新 ClickHouse 服务器的默认处理)。
- 如果 Avro 模式字段与 ClickHouse 列不兼容,则该行/消息的插入将失败,失败将记录在 ClickPipes 错误表中。请注意,支持某些隐式转换(例如,在数值类型之间),但并非全部(例如,Avro 记录字段不能插入 Int32 ClickHouse 列)。