跳到主要内容
跳到主要内容

Parquet

输入输出别名

描述

Apache Parquet 是一种在 Hadoop 生态系统中广泛使用的列式存储格式。ClickHouse 支持这种格式的读写操作。

数据类型匹配

下表显示了支持的数据类型以及它们在 INSERTSELECT 查询中与 ClickHouse 数据类型 的对应关系。

Parquet 数据类型 (INSERT)ClickHouse 数据类型Parquet 数据类型 (SELECT)
BOOLBoolBOOL
UINT8, BOOLUInt8UINT8
INT8Int8/Enum8INT8
UINT16UInt16UINT16
INT16Int16/Enum16INT16
UINT32UInt32UINT32
INT32Int32INT32
UINT64UInt64UINT64
INT64Int64INT64
FLOATFloat32FLOAT
DOUBLEFloat64DOUBLE
DATEDate32DATE
TIME (ms)DateTimeUINT32
TIMESTAMP, TIME (us, ns)DateTime64TIMESTAMP
STRING, BINARYStringBINARY
STRING, BINARY, FIXED_LENGTH_BYTE_ARRAYFixedStringFIXED_LENGTH_BYTE_ARRAY
DECIMALDecimalDECIMAL
LISTArrayLIST
STRUCTTupleSTRUCT
MAPMapMAP
UINT32IPv4UINT32
FIXED_LENGTH_BYTE_ARRAY, BINARYIPv6FIXED_LENGTH_BYTE_ARRAY
FIXED_LENGTH_BYTE_ARRAY, BINARYInt128/UInt128/Int256/UInt256FIXED_LENGTH_BYTE_ARRAY

数组可以是嵌套的,并且可以作为参数具有 Nullable 类型的值。TupleMap 类型也可以嵌套。

不支持的 Parquet 数据类型为:

  • FIXED_SIZE_BINARY
  • JSON
  • UUID
  • ENUM

ClickHouse 表列的数据类型可以与插入的 Parquet 数据对应字段不同。在插入数据时,ClickHouse 根据上表解释数据类型,然后 转换 为 ClickHouse 表列所设置的数据类型。

示例用法

插入与选择数据

您可以使用以下命令将 Parquet 数据从文件插入 ClickHouse 表中:

您可以使用以下命令从 ClickHouse 表中选择数据并将其保存为 Parquet 格式的某个文件:

要与 Hadoop 交换数据,您可以使用 HDFS 表引擎

格式设置

设置描述默认值
input_format_parquet_case_insensitive_column_matching在将 Parquet 列与 CH 列匹配时忽略大小写。0
input_format_parquet_preserve_order从 Parquet 文件读取时避免重新排序行。通常会使速度更慢。0
input_format_parquet_filter_push_down在读取 Parquet 文件时,根据 WHERE/PREWHERE 表达式和 Parquet 元数据中的最小/最大统计信息跳过整个行组。1
input_format_parquet_bloom_filter_push_down在读取 Parquet 文件时,根据 WHERE 表达式和 Parquet 元数据中的布隆过滤器跳过整个行组。0
input_format_parquet_use_native_reader在读取 Parquet 文件时,使用本机读取器而非 arrow 读取器。0
input_format_parquet_allow_missing_columns在读取 Parquet 输入格式时允许缺少列。1
input_format_parquet_local_file_min_bytes_for_seek对于本地读取(文件),进行查找所需的最小字节,而非在 Parquet 输入格式中以忽略方式读取。8192
input_format_parquet_enable_row_group_prefetch在 Parquet 解析期间启用行组预取。目前,只有单线程解析可以进行预取。1
input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference在对 Parquet 格式进行模式推断时,跳过具有不支持类型的列。0
input_format_parquet_max_block_sizeParquet 读取器的最大块大小。65409
input_format_parquet_prefer_block_bytesParquet 读取器输出的平均块字节数。16744704
output_format_parquet_row_group_size行组中目标行数。1000000
output_format_parquet_row_group_size_bytes压缩前目标行组字节数。536870912
output_format_parquet_string_as_string对于字符串列,使用 Parquet 字符串类型而非二进制类型。1
output_format_parquet_fixed_string_as_fixed_byte_array对于 FixedString 列,使用 Parquet FIXED_LENGTH_BYTE_ARRAY 类型而非二进制类型。1
output_format_parquet_version输出格式的 Parquet 格式版本。支持的版本:1.0、2.4、2.6 和 2.latest(默认)。2.latest
output_format_parquet_compression_methodParquet 输出格式的压缩方法。支持的编解码器:snappy、lz4、brotli、zstd、gzip、none(未压缩)。zstd
output_format_parquet_compliant_nested_types在 Parquet 文件模式中,对于列表元素,使用名称 'element' 而非 'item'。这是 Arrow 库实现的历史遗留物。通常会增加兼容性,但可能与一些旧版本的 Arrow 不兼容。1
output_format_parquet_use_custom_encoder使用更快的 Parquet 编码实现。1
output_format_parquet_parallel_encoding在多个线程中进行 Parquet 编码。需要 output_format_parquet_use_custom_encoder1
output_format_parquet_data_page_size压缩前的目标页面大小(以字节为单位)。1048576
output_format_parquet_batch_size每个多少行检查页面大小。如果有平均值大小超过几 KB 的列,考虑减少此值。1024
output_format_parquet_write_page_index添加将页面索引写入 Parquet 文件的可能性。1
input_format_parquet_import_nested廖废设置,不做任何事情。0