Parquet
| Входные данные | Выходные данные | Псевдоним |
|---|---|---|
| ✔ | ✔ |
Описание
Apache Parquet — это колоночный формат хранения, широко используемый в экосистеме Hadoop. ClickHouse поддерживает операции чтения и записи для этого формата.
Соответствие типов данных
В таблице ниже представлены поддерживаемые типы данных и то, как они соответствуют типам данных ClickHouse в запросах INSERT и SELECT.
Тип данных Parquet (INSERT) | Тип данных ClickHouse | Тип данных Parquet (SELECT) |
|---|---|---|
BOOL | Bool | BOOL |
UINT8, BOOL | UInt8 | UINT8 |
INT8 | Int8/Enum8 | INT8 |
UINT16 | UInt16 | UINT16 |
INT16 | Int16/Enum16 | INT16 |
UINT32 | UInt32 | UINT32 |
INT32 | Int32 | INT32 |
UINT64 | UInt64 | UINT64 |
INT64 | Int64 | INT64 |
FLOAT | Float32 | FLOAT |
DOUBLE | Float64 | DOUBLE |
DATE | Date32 | DATE |
TIME (ms) | DateTime | UINT32 |
TIMESTAMP, TIME (us, ns) | DateTime64 | TIMESTAMP |
STRING, BINARY | String | BINARY |
STRING, BINARY, FIXED_LENGTH_BYTE_ARRAY | FixedString | FIXED_LENGTH_BYTE_ARRAY |
DECIMAL | Decimal | DECIMAL |
LIST | Array | LIST |
STRUCT | Tuple | STRUCT |
MAP | Map | MAP |
UINT32 | IPv4 | UINT32 |
FIXED_LENGTH_BYTE_ARRAY, BINARY | IPv6 | FIXED_LENGTH_BYTE_ARRAY |
FIXED_LENGTH_BYTE_ARRAY, BINARY | Int128/UInt128/Int256/UInt256 | FIXED_LENGTH_BYTE_ARRAY |
Массивы могут быть вложенными и могут иметь значение типа Nullable в качестве аргумента. Типы Tuple и Map также могут быть вложенными.
Типы данных Parquet, которые не поддерживаются:
FIXED_SIZE_BINARYJSONUUIDENUM.
Типы данных колонок таблицы ClickHouse могут отличаться от соответствующих полей данных Parquet, которые вставляются. При вставке данных ClickHouse интерпретирует типы данных в соответствии с таблицей выше, а затем приводит к типу данных, который установлен для колонки таблицы ClickHouse.
Пример использования
Вставка и выборка данных
Вы можете вставить данные Parquet из файла в таблицу ClickHouse с помощью следующей команды:
Вы можете выбрать данные из таблицы ClickHouse и сохранить их в некоторый файл в формате Parquet с помощью следующей команды:
Для обмена данными с Hadoop вы можете использовать HDFS table engine.
Настройки формата
| Параметр | Описание | Значение по умолчанию |
|---|---|---|
input_format_parquet_case_insensitive_column_matching | Игнорировать регистр при сопоставлении колонок Parquet с колонками CH. | 0 |
input_format_parquet_preserve_order | Избегать перетасовки строк при чтении из Parquet файлов. Обычно это значительно замедляет процесс. | 0 |
input_format_parquet_filter_push_down | При чтении Parquet файлов пропускать целые группы строк на основе условий WHERE/PREWHERE и минимальных/максимальных статистик в метаданных Parquet. | 1 |
input_format_parquet_bloom_filter_push_down | При чтении Parquet файлов пропускать целые группы строк на основе условий WHERE и фильтра Блума в метаданных Parquet. | 0 |
input_format_parquet_use_native_reader | При чтении Parquet файлов использовать нативный читатель вместо arrow читателя. | 0 |
input_format_parquet_allow_missing_columns | Разрешить отсутствующие колонки при чтении форматов ввода Parquet. | 1 |
input_format_parquet_local_file_min_bytes_for_seek | Минимальный объем байт, необходимый для локального чтения (файла) для осуществления перемещения вместо чтения с игнорированием в формате ввода Parquet. | 8192 |
input_format_parquet_enable_row_group_prefetch | Включить предзагрузку групп строк при парсинге Parquet. В настоящее время только многопоточный парсинг может делать предзагрузку. | 1 |
input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference | Пропускать колонки с неподдерживаемыми типами во время определения схемы для формата Parquet. | 0 |
input_format_parquet_max_block_size | Максимальный размер блока для читателя Parquet. | 65409 |
input_format_parquet_prefer_block_bytes | Средний размер блока в байтах, выдаваемый читателем Parquet. | 16744704 |
output_format_parquet_row_group_size | Целевой размер группы строк в строках. | 1000000 |
output_format_parquet_row_group_size_bytes | Целевой размер группы строк в байтах, до сжатия. | 536870912 |
output_format_parquet_string_as_string | Использовать тип Parquet String вместо Binary для строковых колонок. | 1 |
output_format_parquet_fixed_string_as_fixed_byte_array | Использовать тип Parquet FIXED_LENGTH_BYTE_ARRAY вместо Binary для FixedString колонок. | 1 |
output_format_parquet_version | Версия формата Parquet для формата вывода. Поддерживаемые версии: 1.0, 2.4, 2.6 и 2.latest (по умолчанию). | 2.latest |
output_format_parquet_compression_method | Метод сжатия для формата вывода Parquet. Поддерживаемые кодеки: snappy, lz4, brotli, zstd, gzip, none (без сжатия). | zstd |
output_format_parquet_compliant_nested_types | В схеме файла parquet использовать имя 'element' вместо 'item' для элементов списка. Это исторический артефакт реализации библиотеки Arrow. В общем повышает совместимость, за исключением, возможно, некоторых старых версий Arrow. | 1 |
output_format_parquet_use_custom_encoder | Использовать более быстрые реализации кодировщика Parquet. | 1 |
output_format_parquet_parallel_encoding | Выполнять кодирование Parquet в нескольких потоках. Требует output_format_parquet_use_custom_encoder. | 1 |
output_format_parquet_data_page_size | Целевой размер страницы в байтах, до сжатия. | 1048576 |
output_format_parquet_batch_size | Проверять размер страницы каждые это количество строк. Рассмотрите возможность уменьшения, если у вас есть колонки со средними значениями размера более нескольких КБ. | 1024 |
output_format_parquet_write_page_index | Добавить возможность записывать индекс страниц в файлы parquet. | 1 |
input_format_parquet_import_nested | Устаревшая настройка, ничего не делает. | 0 |