Pular para o conteúdo principal

Descrição

Apache Avro é um formato de serialização orientado a linhas que usa codificação binária para processamento eficiente de dados. O formato Avro oferece suporte à leitura e à gravação de arquivos de dados Avro. Esse formato requer mensagens autodescritivas com um esquema incorporado. Se você estiver usando Avro com um registro de esquemas, consulte o formato AvroConfluent.

Mapeamento de tipos de dados

A tabela abaixo mostra todos os tipos de dados compatíveis com o formato Apache Avro e seus respectivos tipos de dados no ClickHouse em consultas INSERT e SELECT. ** O tipo Variant aceita implicitamente null como valor de campo; assim, por exemplo, o Avro union(T1, T2, null) será convertido em Variant(T1, T2). Como resultado, ao gerar Avro a partir do ClickHouse, precisamos sempre incluir o tipo null no conjunto de tipos union do Avro, pois não sabemos, durante a inferência de esquema, se algum valor é de fato null. *** Tipos lógicos do Avro Tipos de dados lógicos do Avro não compatíveis:
  • time-millis
  • time-micros
  • duration

Configurações de formato

Exemplos

Leitura de dados Avro

Para ler dados de um arquivo Avro para uma tabela do ClickHouse:
O esquema raiz do arquivo Avro submetido à ingestão deve ser do tipo record. Para encontrar a correspondência entre as colunas da tabela e os campos do esquema Avro, o ClickHouse compara seus nomes. Essa comparação diferencia maiúsculas de minúsculas, e os campos não usados são ignorados. Os tipos de dados das colunas da tabela do ClickHouse podem diferir dos campos correspondentes dos dados Avro inseridos. Ao inserir dados, o ClickHouse interpreta os tipos de dados de acordo com a tabela acima e, em seguida, faz a conversão dos dados para o tipo da coluna correspondente. Ao importar dados, quando um campo não é encontrado no esquema e a configuração input_format_avro_allow_missing_fields está habilitada, o valor padrão será usado em vez de gerar um erro.

Gravando dados em Avro

Para gravar dados de uma tabela do ClickHouse em um arquivo Avro:
Os nomes das colunas devem:
  • Começar com [A-Za-z_]
  • Ser seguidos apenas por [A-Za-z0-9_]
A compressão de saída e o intervalo de sincronização de arquivos Avro podem ser configurados, respectivamente, com as configurações output_format_avro_codec e output_format_avro_sync_interval.

Inferindo o esquema Avro

Usando a função DESCRIBE do ClickHouse, você pode visualizar rapidamente o formato inferido de um arquivo Avro, como no exemplo a seguir. Este exemplo inclui a URL de um arquivo Avro acessível publicamente no bucket público S3 do ClickHouse: