Descrição
Avro oferece suporte à leitura e à gravação de arquivos de dados Avro. Esse formato requer mensagens autodescritivas com um esquema incorporado. Se você estiver usando Avro com um registro de esquemas, consulte o formato AvroConfluent.
Mapeamento de tipos de dados
INSERT e SELECT.
bytesé o padrão, controlado pela configuraçãooutput_format_avro_string_column_pattern
null como valor de campo; assim, por exemplo, o Avro union(T1, T2, null) será convertido em Variant(T1, T2).
Como resultado, ao gerar Avro a partir do ClickHouse, precisamos sempre incluir o tipo null no conjunto de tipos union do Avro, pois não sabemos, durante a inferência de esquema, se algum valor é de fato null.
*** Tipos lógicos do Avro
Tipos de dados lógicos do Avro não compatíveis:
time-millistime-microsduration
Configurações de formato
Exemplos
Leitura de dados Avro
record.
Para encontrar a correspondência entre as colunas da tabela e os campos do esquema Avro, o ClickHouse compara seus nomes.
Essa comparação diferencia maiúsculas de minúsculas, e os campos não usados são ignorados.
Os tipos de dados das colunas da tabela do ClickHouse podem diferir dos campos correspondentes dos dados Avro inseridos. Ao inserir dados, o ClickHouse interpreta os tipos de dados de acordo com a tabela acima e, em seguida, faz a conversão dos dados para o tipo da coluna correspondente.
Ao importar dados, quando um campo não é encontrado no esquema e a configuração input_format_avro_allow_missing_fields está habilitada, o valor padrão será usado em vez de gerar um erro.
Gravando dados em Avro
- Começar com
[A-Za-z_] - Ser seguidos apenas por
[A-Za-z0-9_]
output_format_avro_codec e output_format_avro_sync_interval.
Inferindo o esquema Avro
DESCRIBE do ClickHouse, você pode visualizar rapidamente o formato inferido de um arquivo Avro, como no exemplo a seguir.
Este exemplo inclui a URL de um arquivo Avro acessível publicamente no bucket público S3 do ClickHouse: