AvroConfluent
输入 | 输出 | 别名 |
---|---|---|
✔ | ✗ |
描述
AvroConfluent 支持解码常用于 Kafka 和 Confluent Schema Registry 的单对象 Avro 消息。 每个 Avro 消息包含一个可以通过 Schema Registry 解析到实际模式的模式 ID。 模式在解析后被缓存。
数据类型匹配
下面的表格显示了 Apache Avro 格式支持的所有数据类型,以及它们在 INSERT
和 SELECT
查询中的对应 ClickHouse 数据类型。
Avro 数据类型 INSERT | ClickHouse 数据类型 | Avro 数据类型 SELECT |
---|---|---|
boolean , int , long , float , double | Int(8\16\32), UInt(8\16\32) | int |
boolean , int , long , float , double | Int64, UInt64 | long |
boolean , int , long , float , double | Float32 | float |
boolean , int , long , float , double | Float64 | double |
bytes , string , fixed , enum | String | bytes 或 string * |
bytes , string , fixed | FixedString(N) | fixed(N) |
enum | Enum(8\16) | enum |
array(T) | Array(T) | array(T) |
map(V, K) | Map(V, K) | map(string, K) |
union(null, T) , union(T, null) | Nullable(T) | union(null, T) |
union(T1, T2, …) ** | Variant(T1, T2, …) | union(T1, T2, …) ** |
null | Nullable(Nothing) | null |
int (date) *** | Date, Date32 | int (date) *** |
long (timestamp-millis) *** | DateTime64(3) | long (timestamp-millis) *** |
long (timestamp-micros) *** | DateTime64(6) | long (timestamp-micros) *** |
bytes (decimal) *** | DateTime64(N) | bytes (decimal) *** |
int | IPv4 | int |
fixed(16) | IPv6 | fixed(16) |
bytes (decimal) *** | Decimal(P, S) | bytes (decimal) *** |
string (uuid) *** | UUID | string (uuid) *** |
fixed(16) | Int128/UInt128 | fixed(16) |
fixed(32) | Int256/UInt256 | fixed(32) |
record | Tuple | record |
* bytes
是默认值,由设置 output_format_avro_string_column_pattern
控制。
** Variant 类型 隐式接受 null
作为字段值,因此,例如 Avro union(T1, T2, null)
将被转换为 Variant(T1, T2)
。
因此,从 ClickHouse 生成 Avro 时,我们必须始终将 null
类型包括到 Avro union
类型集中,因为我们在模式推断过程中不知道任何值是否实际上为 null
。
*** Avro 逻辑类型
不支持的 Avro 逻辑数据类型:
time-millis
time-micros
duration
示例用法
要快速验证模式解析,您可以使用 kafkacat 配合 clickhouse-local:
要使用 AvroConfluent
与 Kafka:
格式设置
Schema Registry URL 通过 format_avro_schema_registry_url
配置。
备注
设置 format_avro_schema_registry_url
需要在 users.xml
中进行配置,以便在重新启动后保持其值。您也可以使用 Kafka
表引擎的 format_avro_schema_registry_url
设置。
设置 | 描述 | 默认值 |
---|---|---|
input_format_avro_allow_missing_fields | 对于 Avro/AvroConfluent 格式:当模式中未找到字段时,使用默认值而不是错误 | 0 |
input_format_avro_null_as_default | 对于 Avro/AvroConfluent 格式:在空值和非 Nullable 列的情况下插入默认值 | 0 |
format_avro_schema_registry_url | 对于 AvroConfluent 格式:Confluent Schema Registry URL。 |