Настройки формата
Эти настройки автоматически сгенерированы из source.
allow_special_bool_values_inside_variant
Позволяет парсить значения Bool внутри типа Variant из специальных текстовых значений bool, таких как "on", "off", "enable", "disable" и т.д.
bool_false_representation
Текстовое представление ложного значения bool в форматах TSV/CSV/Vertical/Pretty.
bool_true_representation
Текстовое представление истинного значения bool в форматах TSV/CSV/Vertical/Pretty.
column_names_for_schema_inference
Список имен колонок, используемых для вывода схемы в форматах без имен колонок. Формат: 'column1,column2,column3,...'
cross_to_inner_join_rewrite
Использует внутреннее соединение вместо запятой/перекрестного соединения, если в разделе WHERE есть выражения соединения. Значения: 0 - без переписывания, 1 - применить, если это возможно для запятой/перекрестного, 2 - принудительное переписывание всех соединений по запятой, перекрестное - если возможно.
date_time_64_output_format_cut_trailing_zeros_align_to_groups_of_thousands
Динамически обрезает концевые нули значений datetime64, чтобы адаптировать масштаб вывода к [0, 3, 6], соответствующим 'секундам', 'миллисекундам' и 'микросекундам'.
date_time_input_format
Позволяет выбирать парсер текстового представления даты и времени.
Настройка не применяется к функциям даты и времени.
Возможные значения:
-
'best_effort'
— Включает расширенный парсинг.ClickHouse может парсить базовый формат
YYYY-MM-DD HH:MM:SS
и все форматы даты и времени ISO 8601. Например,'2018-06-08T01:02:03.000Z'
. -
'basic'
— Использует базовый парсер.ClickHouse может парсить только базовый формат
YYYY-MM-DD HH:MM:SS
илиYYYY-MM-DD
. Например,2019-08-20 10:18:56
или2019-08-20
.
Значение по умолчанию в облаке: 'best_effort'
.
Смотрите также:
date_time_output_format
Позволяет выбирать различные форматы вывода текстового представления даты и времени.
Возможные значения:
-
simple
- Простой формат вывода.ClickHouse выводит дату и время в формате
YYYY-MM-DD hh:mm:ss
. Например,2019-08-20 10:18:56
. Расчет выполняется в соответствии с временной зоной типа данных (если она существует) или временной зоной сервера. -
iso
- ISO-формат вывода.ClickHouse выводит дату и время в формате ISO 8601
YYYY-MM-DDThh:mm:ssZ
. Например,2019-08-20T10:18:56Z
. Обратите внимание, что вывод осуществляется в UTC (Z
означает UTC). -
unix_timestamp
- Формат вывода Unix timestamp.ClickHouse выводит дату и время в формате Unix timestamp. Например,
1566285536
.
Смотрите также:
date_time_overflow_behavior
Определяет поведение, когда Date, Date32, DateTime, DateTime64 или целые числа преобразуются в Date, Date32, DateTime или DateTime64, но значение не может быть представлено в результирующем типе.
Возможные значения:
ignore
— Безмолвно игнорировать переполнения. Результат неопределен.throw
— Генерировать исключение в случае переполнения.saturate
— Насыщать результат. Если значение меньше наименьшего, которое может быть представлено целевым типом, результат выбирается как наименьшее представимое значение. Если значение больше наибольшего, которое может быть представлено целевым типом, результат выбирается как наибольшее представимое значение.
Значение по умолчанию: ignore
.
dictionary_use_async_executor
Выполняет конвейер для чтения источника словаря в нескольких потоках. Поддерживается только словарями с локальным источником CLICKHOUSE.
errors_output_format
Метод записи ошибок в текстовый вывод.
exact_rows_before_limit
Когда включено, ClickHouse предоставит точное значение для статистики rows_before_limit_at_least, но за счет того, что данные до предела должны быть прочитаны полностью.
format_avro_schema_registry_url
Для формата AvroConfluent: URL реестра схем Confluent.
format_binary_max_array_size
Максимально допустимый размер массива в бинарном формате RowBinary. Это предотвращает выделение большого объема памяти в случае поврежденных данных. 0 означает, что нет ограничений.
format_binary_max_string_size
Максимально допустимый размер строки в бинарном формате RowBinary. Это предотвращает выделение большого объема памяти в случае поврежденных данных. 0 означает, что нет ограничений.
format_capn_proto_enum_comparising_mode
Как сопоставить Enum ClickHouse и Enum CapnProto.
format_capn_proto_use_autogenerated_schema
Используйте автоматически сгенерированную схему CapnProto, когда format_schema не установлен.
format_csv_allow_double_quotes
Если установлен в true, разрешает строки в двойных кавычках.
format_csv_allow_single_quotes
Если установлен в true, разрешает строки в одинарных кавычках.
format_csv_delimiter
Символ, который будет считаться разделителем в данных CSV. Если установка является строкой, строка должна иметь длину 1.
format_csv_null_representation
Пользовательское представление NULL в формате CSV.
format_custom_escaping_rule
Правило экранирования поля (для формата CustomSeparated).
format_custom_field_delimiter
Разделитель между полями (для формата CustomSeparated).
format_custom_result_after_delimiter
Суффикс после набора результатов (для формата CustomSeparated).
format_custom_result_before_delimiter
Префикс перед набором результатов (для формата CustomSeparated).
format_custom_row_after_delimiter
Разделитель после поля последней колонки (для формата CustomSeparated).
format_custom_row_before_delimiter
Разделитель перед полем первой колонки (для формата CustomSeparated).
format_custom_row_between_delimiter
Разделитель между строками (для формата CustomSeparated).
format_display_secrets_in_show_and_select
Включает или отключает отображение секретов в запросах SHOW
и SELECT
для таблиц, баз данных, табличных функций и словарей.
Пользователь, желающий видеть секреты, также должен иметь
display_secrets_in_show_and_select
серверная настройка
включенной и иметь
displaySecretsInShowAndSelect
привилегию.
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
format_json_object_each_row_column_for_object_name
Имя колонки, которая будет использоваться для хранения/записи имен объектов в формате JSONObjectEachRow.
Тип колонки должен быть String. Если значение пустое, будут использованы имена по умолчанию row_{i}
для имен объектов.
format_protobuf_use_autogenerated_schema
Используйте автоматически сгенерированный Protobuf, когда format_schema не установлен.
format_regexp
Регулярное выражение (для формата Regexp).
format_regexp_escaping_rule
Правило экранирования поля (для формата Regexp).
format_regexp_skip_unmatched
Пропускает строки, не удовлетворяющие регулярному выражению (для формата Regexp).
format_schema
Этот параметр полезен, когда вы используете форматы, требующие определения схемы, такие как Cap'n Proto или Protobuf. Значение зависит от формата.
format_template_resultset
Путь к файлу, который содержит строку формата для набора результатов (для формата Template).
format_template_resultset_format
Строка формата для набора результатов (для формата Template).
format_template_row
Путь к файлу, который содержит строку формата для строк (для формата Template).
format_template_row_format
Строка формата для строк (для формата Template).
format_template_rows_between_delimiter
Разделитель между строками (для формата Template).
format_tsv_null_representation
Пользовательское представление NULL в формате TSV.
input_format_allow_errors_num
Устанавливает максимальное количество допустимых ошибок при чтении из текстовых форматов (CSV, TSV и т.д.).
Значение по умолчанию — 0.
Всегда сочетайте с input_format_allow_errors_ratio
.
Если произошла ошибка при чтении строк, но счетчик ошибок все еще меньше, чем input_format_allow_errors_num
, ClickHouse игнорирует строку и переходит к следующей.
Если истощены и input_format_allow_errors_num
, и input_format_allow_errors_ratio
, ClickHouse генерирует исключение.
input_format_allow_errors_ratio
Устанавливает максимальный процент ошибок, допустимый при чтении из текстовых форматов (CSV, TSV и т.д.). Процент ошибок устанавливается как число с плавающей запятой от 0 до 1.
Значение по умолчанию — 0.
Всегда сочетайте с input_format_allow_errors_num
.
Если произошла ошибка при чтении строк, но счетчик ошибок все еще меньше, чем input_format_allow_errors_ratio
, ClickHouse игнорирует строку и переходит к следующей.
Если истощены и input_format_allow_errors_num
, и input_format_allow_errors_ratio
, ClickHouse генерирует исключение.
input_format_allow_seeks
Разрешить поиск при чтении в форматах ввода ORC/Parquet/Arrow.
По умолчанию включен.
input_format_arrow_allow_missing_columns
Разрешить отсутствующие колонки при чтении форматов ввода Arrow.
input_format_arrow_case_insensitive_column_matching
Игнорировать регистр при сопоставлении колонок Arrow с колонками CH.
input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference
Пропускать колонки с неподдерживаемыми типами при выводе схемы для формата Arrow.
input_format_avro_allow_missing_fields
Для формата Avro/AvroConfluent: когда поле не найдено в схеме, использовать значение по умолчанию вместо ошибки.
input_format_avro_null_as_default
Для формата Avro/AvroConfluent: вставить значение по умолчанию в случае null и не Nullable колонны.
input_format_binary_decode_types_in_binary_format
Читать типы данных в бинарном формате вместо имен типов в формате RowBinaryWithNamesAndTypes.
input_format_binary_read_json_as_string
Читать значения типа JSON как значения String в формате RowBinary.
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference
Пропустить поля с неподдерживаемыми типами при выводе схемы для формата BSON.
input_format_capn_proto_skip_fields_with_unsupported_types_in_schema_inference
Пропустить колонки с неподдерживаемыми типами при выводе схемы для формата CapnProto.
input_format_csv_allow_cr_end_of_line
Если установлен в true, \r будет разрешен в конце строки без последующего.
input_format_csv_allow_variable_number_of_columns
Игнорировать лишние колонки во входных CSV (если файл содержит больше колонок, чем ожидается) и обрабатывать отсутствующие поля во входных CSV как значения по умолчанию.
input_format_csv_allow_whitespace_or_tab_as_delimiter
Разрешить использовать пробелы и табуляции (\t) в качестве разделителей полей в строках CSV.
input_format_csv_arrays_as_nested_csv
При чтении массива из CSV ожидается, что его элементы сериализуются в вложенный CSV и затем помещаются в строку. Пример: "[""Hello"", ""world"", ""42"""" TV""]". Скобки вокруг массива могут быть опущены.
input_format_csv_deserialize_separate_columns_into_tuple
Если установлен в true, отдельные колонки, записанные в формате CSV, могут быть десериализованы в кортеж.
input_format_csv_detect_header
Автоматически обнаруживать заголовок с именами и типами в формате CSV.
input_format_csv_empty_as_default
Обрабатывать пустые поля во входных CSV как значения по умолчанию.
input_format_csv_enum_as_number
Обрабатывать вставленные значения enum в форматах CSV как индексы enum.
input_format_csv_skip_first_lines
Пропустить указанное количество строк в начале данных в формате CSV.
input_format_csv_skip_trailing_empty_lines
Пропустить завершающие пустые строки в формате CSV.
input_format_csv_trim_whitespaces
Обрезает символы пробелов и табуляции (\t) в начале и в конце строк в CSV.
input_format_csv_try_infer_numbers_from_strings
Если включено, во время вывода схемы ClickHouse будет пытаться вывести числа из строковых полей. Это может быть полезно, если данные CSV содержат заключенные в кавычки числа UInt64.
По умолчанию выключено.
input_format_csv_try_infer_strings_from_quoted_tuples
Интерпретировать заключенные в кавычки кортежи в входных данных как значение типа String.
input_format_csv_use_best_effort_in_schema_inference
Используйте некоторые настройки и эвристику для вывода схемы в формате CSV.
input_format_csv_use_default_on_bad_values
Разрешить устанавливать значение по умолчанию для колонки, когда десериализация поля CSV не удалась из-за некорректного значения.
input_format_custom_allow_variable_number_of_columns
Игнорировать лишние колонки во входных CustomSeparated (если файл содержит больше колонок, чем ожидается) и обрабатывать отсутствующие поля в CustomSeparated как значения по умолчанию.
input_format_custom_detect_header
Автоматически обнаруживать заголовок с именами и типами в формате CustomSeparated.
input_format_custom_skip_trailing_empty_lines
Пропустить завершающие пустые строки в формате CustomSeparated.
input_format_defaults_for_omitted_fields
При выполнении запросов INSERT
заменить пропущенные значения входных колонок значениями по умолчанию для соответствующих колонок. Эта опция применяется к JSONEachRow (и другим JSON-форматам), CSV, TabSeparated, TSKV, Parquet, Arrow, Avro, ORC, Native форматам и форматам с суффиксами WithNames
/WithNamesAndTypes
.
Когда эта опция включена, расширенная метаинформация таблицы отправляется от сервера к клиенту. Это потребляет дополнительные вычислительные ресурсы на сервере и может снизить производительность.
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
input_format_force_null_for_omitted_fields
Принудительно инициализировать пропущенные поля значениями null.
input_format_hive_text_allow_variable_number_of_columns
Игнорировать лишние колонки во входных Hive Text (если файл содержит больше колонок, чем ожидается) и обрабатывать отсутствующие поля во входных Hive Text как значения по умолчанию.
input_format_hive_text_collection_items_delimiter
Разделитель между элементами коллекции (массив или map) в файле Hive Text.
input_format_hive_text_fields_delimiter
Разделитель между полями в файле Hive Text.
input_format_hive_text_map_keys_delimiter
Разделитель между парой ключ/значение map в файле Hive Text.
input_format_import_nested_json
Включает или отключает вставку данных JSON с вложенными объектами.
Поддерживаемые форматы:
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
Смотрите также:
- Использование вложенных структур с форматом
JSONEachRow
.
input_format_ipv4_default_on_conversion_error
Десериализация IPv4 будет использовать значения по умолчанию вместо генерации исключения при ошибке преобразования.
По умолчанию отключено.
input_format_ipv6_default_on_conversion_error
Десериализация IPV6 будет использовать значения по умолчанию вместо генерации исключения при ошибке преобразования.
По умолчанию отключено.
input_format_json_compact_allow_variable_number_of_columns
Разрешить переменное число колонок в строках в форматах ввода JSONCompact/JSONCompactEachRow. Игнорировать лишние колонки в строках с большим количеством колонок, чем ожидалось, и обрабатывать отсутствующие колонки как значения по умолчанию.
По умолчанию отключено.
input_format_json_defaults_for_missing_elements_in_named_tuple
Вставить значения по умолчанию для отсутствующих элементов в объекте JSON во время парсинга именованного кортежа.
Эта настройка работает только при включенной настройке input_format_json_named_tuples_as_objects
.
По умолчанию включено.
input_format_json_empty_as_default
При включении заменять пустые входные поля в JSON значениями по умолчанию. Для сложных значений по умолчанию необходимо также включить input_format_defaults_for_omitted_fields
.
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
input_format_json_ignore_unknown_keys_in_named_tuple
Игнорировать неизвестные ключи в json объекте для именованных кортежей.
По умолчанию включено.
input_format_json_ignore_unnecessary_fields
Игнорировать ненужные поля и не парсить их. Включение этой опции может не генерировать исключения для строк json неверного формата или с дублированными полями.
input_format_json_infer_incomplete_types_as_strings
Позволяет использовать тип String для ключей JSON, которые содержат только Null
/{}
/[]
в образце данных во время вывода схемы.
В форматах JSON любое значение можно считать строкой, и мы можем избежать ошибок, таких как Невозможно определить тип для колонки 'column_name' по первым 25000 строкам данных, скорее всего, эта колонка содержит только Null или пустые массивы/Map
во время вывода схемы, используя тип String для ключей с неизвестными типами.
Пример:
Результат:
По умолчанию включено.
input_format_json_max_depth
Максимальная глубина поля в JSON. Это не строгий предел, он не обязательно должен применяться точно.
input_format_json_named_tuples_as_objects
Парсить колонки именованных кортежей как JSON объекты.
По умолчанию включено.
input_format_json_read_arrays_as_strings
Разрешить парсинг массивов JSON как строк в форматах ввода JSON.
Пример:
Результат:
По умолчанию включено.
input_format_json_read_bools_as_numbers
Разрешить парсинг bool как чисел в форматах ввода JSON.
По умолчанию включено.
input_format_json_read_bools_as_strings
Разрешить парсинг bool как строк в форматах ввода JSON.
По умолчанию включено.
input_format_json_read_numbers_as_strings
Разрешить парсинг чисел как строк в форматах ввода JSON.
По умолчанию включено.
input_format_json_read_objects_as_strings
Разрешить парсинг JSON объектов как строк в форматах ввода JSON.
Пример:
Результат:
По умолчанию включено.
input_format_json_throw_on_bad_escape_sequence
Генерировать исключение, если строка JSON содержит плохую escape-последовательность в форматах ввода JSON. Если отключено, плохие escape-последовательности останутся в данных в неизменном виде.
По умолчанию включено.
input_format_json_try_infer_named_tuples_from_objects
Если включено, при выводе схемы ClickHouse попытается вывести именованный Tuple из JSON объектов. В результате именованный Tuple будет содержать все элементы из всех соответствующих JSON объектов из образца данных.
Пример:
Результат:
Включено по умолчанию.
input_format_json_try_infer_numbers_from_strings
Если включено, при выводе схемы ClickHouse попытается вывести числа из строковых полей. Это может быть полезно, если данные JSON содержат заключенные в кавычки UInt64 числа.
Отключено по умолчанию.
input_format_json_use_string_type_for_ambiguous_paths_in_named_tuples_inference_from_objects
Используйте тип String вместо исключения в случае неоднозначных путей в JSON объектах при выводе именованных tuples.
input_format_json_validate_types_from_metadata
Для форматов ввода JSON/JSONCompact/JSONColumnsWithMetadata, если эта настройка установлена в 1, типы из метаданных входных данных будут сравниваться с типами соответствующих колонок из таблицы.
Включено по умолчанию.
input_format_max_block_size_bytes
Ограничивает размер блоков, формируемых при парсинге данных в входных форматах в байтах. Используется в форматах ввода на основе строк, когда блок формируется на стороне ClickHouse. 0 означает отсутствие ограничения в байтах.
input_format_max_bytes_to_read_for_schema_inference
Максимальное количество данных в байтах для чтения для автоматического вывода схемы.
input_format_max_rows_to_read_for_schema_inference
Максимальное количество строк данных для чтения для автоматического вывода схемы.
input_format_msgpack_number_of_columns
Количество колонок в вставленных данных MsgPack. Используется для автоматического вывода схемы из данных.
input_format_mysql_dump_map_column_names
Сопоставить колонки из таблицы в дампе MySQL и колонки из таблицы ClickHouse по именам.
input_format_mysql_dump_table_name
Имя таблицы в дампе MySQL, из которой нужно читать данные.
input_format_native_allow_types_conversion
Разрешить преобразование типов данных в формате ввода Native.
input_format_native_decode_types_in_binary_format
Читать типы данных в двоичном формате вместо имен типов в формате ввода Native.
input_format_null_as_default
Включает или отключает инициализацию полей NULL с значениями по умолчанию, если тип данных этих полей не nullable. Если тип колонки не nullable и эта настройка отключена, то вставка NULL
вызывает исключение. Если тип колонки nullable, то значения NULL
вставляются как есть, независимо от этой настройки.
Эта настройка применима для большинства форматов ввода.
Для сложных выражений по умолчанию input_format_defaults_for_omitted_fields
также должен быть включен.
Возможные значения:
- 0 — Вставка
NULL
в ненулевую колонку вызывает исключение. - 1 — Поля
NULL
инициализируются значениями по умолчанию колонки.
input_format_orc_allow_missing_columns
Разрешить отсутствующие колонки при чтении форматов ввода ORC.
input_format_orc_case_insensitive_column_matching
Игнорировать регистр при сопоставлении колонок ORC с колонками CH.
input_format_orc_dictionary_as_low_cardinality
Обращаться с колонками с высоким кардиналити, закодированными в словаре ORC, как с колонками LowCardinality при чтении ORC файлов.
input_format_orc_filter_push_down
При чтении файлов ORC пропускать целиком полосы или группы строк на основе выражений WHERE/PREWHERE, мин/макс статистики или фильтра Блума в метаданных ORC.
input_format_orc_reader_time_zone_name
Имя часового пояса для счётчика строк ORC, умолчания часовой пояс счётчика строк ORC — GMT.
input_format_orc_row_batch_size
Размер партии при чтении полос ORC.
input_format_orc_skip_columns_with_unsupported_types_in_schema_inference
Пропускать колонки с неподдерживаемыми типами при выводе схемы для формата ORC.
input_format_orc_use_fast_decoder
Использовать более быстрый декодер ORC.
input_format_parquet_allow_geoparquet_parser
Использовать парсер геоколонн для преобразования Array(UInt8) в типы Point/Linestring/Polygon/MultiLineString/MultiPolygon.
input_format_parquet_allow_missing_columns
Разрешить отсутствующие колонки при чтении форматов ввода Parquet.
input_format_parquet_bloom_filter_push_down
При чтении файлов Parquet пропускать целиком группы строк на основе выражений WHERE и фильтра Блума в метаданных Parquet.
input_format_parquet_case_insensitive_column_matching
Игнорировать регистр при сопоставлении колонок Parquet с колонками CH.
input_format_parquet_enable_row_group_prefetch
Включить предварительную выборку группы строк во время парсинга parquet. В настоящее время только однопоточная обработка может предварительно выбирать.
input_format_parquet_filter_push_down
При чтении файлов Parquet пропускать целиком группы строк на основе выражений WHERE/PREWHERE и мин/макс статистики в метаданных Parquet.
input_format_parquet_local_file_min_bytes_for_seek
Минимальные байты, необходимые для локального чтения (файл), чтобы сделать поиск, вместо чтения с игнорированием в формате ввода Parquet.
input_format_parquet_max_block_size
Максимальный размер блока для счётчика Parquet.
input_format_parquet_prefer_block_bytes
Средний размер блока, выводимого счётчиком Parquet.
input_format_parquet_preserve_order
Избегайте изменения порядка строк при чтении из файлов Parquet. Обычно работает значительно медленнее.
input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference
Пропустить колонки с неподдерживаемыми типами при выводе схемы для формата Parquet.
input_format_parquet_use_native_reader
При чтении файлов Parquet использовать родной счётчик вместо счётчика Arrow.
input_format_protobuf_flatten_google_wrappers
Включите обёртки Google для обычных ненестированных колонок, например, google.protobuf.StringValue 'str' для колонки String 'str'. Для Nullable колонок пустые обёртки рассматриваются как значения по умолчанию, а отсутствующие как нули.
input_format_protobuf_skip_fields_with_unsupported_types_in_schema_inference
Пропустить поля с неподдерживаемыми типами при выводе схемы для формата Protobuf.
input_format_record_errors_file_path
Путь к файлу, используемому для записи ошибок при чтении текстовых форматов (CSV, TSV).
input_format_skip_unknown_fields
Включает или отключает пропуск вставки лишних данных.
При записи данных ClickHouse вызывает исключение, если входные данные содержат колонки, которые не существуют в целевой таблице. Если пропуск включен, ClickHouse не вставляет лишние данные и не вызывает исключение.
Поддерживаемые форматы:
- JSONEachRow (и другие форматы JSON)
- BSONEachRow (и другие форматы JSON)
- TSKV
- Все форматы с суффиксами WithNames/WithNamesAndTypes
- MySQLDump
- Native
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
input_format_try_infer_dates
Если включено, ClickHouse будет пытаться вывести тип Date
из строковых полей при выводе схемы для текстовых форматов. Если все поля из колонки во входных данных были успешно разобраны как даты, тип результата будет Date
, если хотя бы одно поле не было разобрано как дата, тип результата будет String
.
Включено по умолчанию.
input_format_try_infer_datetimes
Если включено, ClickHouse будет пытаться вывести тип DateTime64
из строковых полей при выводе схемы для текстовых форматов. Если все поля из колонки во входных данных были успешно разобраны как даты и время, тип результата будет DateTime64
, если хотя бы одно поле не было разобрано как дата и время, тип результата будет String
.
Включено по умолчанию.
input_format_try_infer_datetimes_only_datetime64
Когда включен input_format_try_infer_datetimes, выводите только DateTime64, но не DateTime.
input_format_try_infer_exponent_floats
Пытайтесь выводить числа с плавающей запятой в экспоненциальной записи при выводе схемы в текстовых форматах (кроме JSON, где экспоненциальные числа всегда выводятся).
input_format_try_infer_integers
Если включено, ClickHouse будет пытаться выводить целые числа вместо чисел с плавающей запятой при выводе схемы для текстовых форматов. Если все числа в колонке из входных данных являются целыми, тип результата будет Int64
, если хотя бы одно число — число с плавающей запятой, тип результата будет Float64
.
Включено по умолчанию.
input_format_try_infer_variants
Если включено, ClickHouse будет пытаться вывести тип Variant
при выводе схемы для текстовых форматов, когда существует более одного возможного типа для элементов колонок/массива.
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
input_format_tsv_allow_variable_number_of_columns
Игнорировать лишние колонки в TSV вводе (если файл имеет больше колонок, чем ожидалось) и рассматривать отсутствующие поля в TSV вводе как значения по умолчанию.
input_format_tsv_crlf_end_of_line
Если установлено в true, функция файла будет читать TSV формат с \r\n вместо \n.
input_format_tsv_detect_header
Автоматически определять заголовок с именами и типами в TSV формате.
input_format_tsv_empty_as_default
Считать пустые поля в TSV вводе как значения по умолчанию.
input_format_tsv_enum_as_number
Считать вставленные значения перечисления в форматах TSV как индексы перечислений.
input_format_tsv_skip_first_lines
Пропустить указанное количество строк в начале данных в TSV формате.
input_format_tsv_skip_trailing_empty_lines
Пропустить завершающие пустые строки в TSV формате.
input_format_tsv_use_best_effort_in_schema_inference
Используйте некоторые приемы и эвристики для вывода схемы в TSV формате.
input_format_values_accurate_types_of_literals
Для формата Values: при парсинге и интерпретации выражений с использованием шаблона проверять фактический тип литерала, чтобы избежать возможного переполнения и проблем с точностью.
input_format_values_deduce_templates_of_expressions
Для формата Values: если поле не удается разобрать с помощью потокового парсера, запустить SQL парсер, вывести шаблон SQL выражения, попытаться разобрать все строки с использованием шаблона, а затем интерпретировать выражение для всех строк.
input_format_values_interpret_expressions
Для формата Values: если поле не удается разобрать с помощью потокового парсера, запустить SQL парсер и попытаться интерпретировать его как SQL выражение.
input_format_with_names_use_header
Включает или отключает проверку порядка колонок при вставке данных.
Чтобы улучшить производительность вставки, рекомендуется отключить эту проверку, если вы уверены, что порядок колонок входных данных такой же, как в целевой таблице.
Поддерживаемые форматы:
- CSVWithNames
- CSVWithNamesAndTypes
- TabSeparatedWithNames
- TabSeparatedWithNamesAndTypes
- JSONCompactEachRowWithNames
- JSONCompactEachRowWithNamesAndTypes
- JSONCompactStringsEachRowWithNames
- JSONCompactStringsEachRowWithNamesAndTypes
- RowBinaryWithNames
- RowBinaryWithNamesAndTypes
- CustomSeparatedWithNames
- CustomSeparatedWithNamesAndTypes
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
input_format_with_types_use_header
Контролирует, должен ли парсер формата проверять, соответствуют ли типы данных из входных данных типам данных из целевой таблицы.
Поддерживаемые форматы:
- CSVWithNamesAndTypes
- TabSeparatedWithNamesAndTypes
- JSONCompactEachRowWithNamesAndTypes
- JSONCompactStringsEachRowWithNamesAndTypes
- RowBinaryWithNamesAndTypes
- CustomSeparatedWithNamesAndTypes
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
insert_distributed_one_random_shard
Включает или отключает случайную вставку шардов в таблицу Distributed при отсутствии распределенного ключа.
По умолчанию, при вставке данных в таблицу Distributed
с более чем одним shard, сервер ClickHouse отклонит любой запрос на вставку, если не указан распределенный ключ. Когда insert_distributed_one_random_shard = 1
, вставки разрешены, и данные распределяются случайным образом между всеми шардом.
Возможные значения:
- 0 — Вставка отклоняется, если есть несколько шардов и не указан распределенный ключ.
- 1 — Вставка выполняется случайным образом среди всех доступных шардов при отсутствии распределенного ключа.
interval_output_format
Позволяет выбирать разные форматы вывода текстового представления типов интервалов.
Возможные значения:
-
kusto
- формат вывода в стиле KQL.ClickHouse выводит интервалы в формате KQL. Например,
toIntervalDay(2)
будет форматироваться как2.00:00:00
. Обратите внимание, что для типов интервалов разной длины (т.е.IntervalMonth
иIntervalYear
) учитывается среднее количество секунд на интервал. -
numeric
- числовой формат вывода.ClickHouse выводит интервалы как их внутреннее числовое представление. Например,
toIntervalDay(2)
будет форматироваться как2
.
Смотрите также:
output_format_arrow_compression_method
Метод сжатия для формата вывода Arrow. Поддерживаемые кодеки: lz4_frame, zstd, none (без сжатия).
output_format_arrow_fixed_string_as_fixed_byte_array
Использовать тип Arrow FIXED_SIZE_BINARY вместо Binary для колонок FixedString.
output_format_arrow_low_cardinality_as_dictionary
Включить вывод типа LowCardinality как словаря типа Arrow.
output_format_arrow_string_as_string
Использовать тип Arrow String вместо Binary для колонок String.
output_format_arrow_use_64_bit_indexes_for_dictionary
Всегда использовать 64-битные целые числа для индексов словарей в формате Arrow.
output_format_arrow_use_signed_indexes_for_dictionary
Использовать знаковые целые числа для индексов словарей в формате Arrow.
output_format_avro_codec
Сжимающий кодек, используемый для вывода. Возможные значения: 'null', 'deflate', 'snappy', 'zstd'.
output_format_avro_rows_in_file
Максимальное количество строк в файле (если это разрешено хранилищем).
output_format_avro_string_column_pattern
Для формата Avro: regexp строковых колонок для выбора в качестве AVRO строки.
output_format_avro_sync_interval
Интервал синхронизации в байтах.
output_format_binary_encode_types_in_binary_format
Записывать типы данных в двоичном формате вместо имен типов в формате RowBinaryWithNamesAndTypes.
output_format_binary_write_json_as_string
Записывать значения типа JSON как значения типа JSON String в формате RowBinary.
output_format_bson_string_as_string
Использовать BSON тип String вместо Binary для колонок String.
output_format_csv_crlf_end_of_line
Если установлено в true, конец строки в формате CSV будет \r\n вместо \n.
output_format_csv_serialize_tuple_into_separate_columns
Если установлено в true, то Tuples в формате CSV сериализуются в отдельные колонки (т.е. теряется их вложенность в tuple).
output_format_decimal_trailing_zeros
Выводить завершающие нули при печати значений Decimal. Например, 1.230000 вместо 1.23.
Отключено по умолчанию.
output_format_json_array_of_rows
Включает возможность вывода всех строк в виде массива JSON в формате JSONEachRow.
Возможные значения:
- 1 — ClickHouse выводит все строки как массив, каждая строка в формате
JSONEachRow
. - 0 — ClickHouse выводит каждую строку отдельно в формате
JSONEachRow
.
Пример запроса с включенной настройкой
Запрос:
Результат:
Пример запроса с отключенной настройкой
Запрос:
Результат:
output_format_json_escape_forward_slashes
Управляет экранированием прямых слэшей для строковых выводов в формате JSON. Это предназначено для совместимости с JavaScript. Не путайте с обратными слэшами, которые всегда экранируются.
Включено по умолчанию.
output_format_json_named_tuples_as_objects
Сериализовать именованные столбцы tuple как JSON объекты.
Включено по умолчанию.
output_format_json_pretty_print
Когда включено, значения сложных типов данных, таких как Tuple/Array/Map, в формате JSON в разделе 'data' будут напечатаны в красивом формате.
Включено по умолчанию.
output_format_json_quote_64bit_floats
Управляет экранированием 64-битных чисел с плавающей запятой при их выводе в форматах JSON.
Отключено по умолчанию.
output_format_json_quote_64bit_integers
Управляет экранированием 64-битных или больших целых чисел (таких как UInt64
или Int128
) при их выводе в формат JSON. Такие целые числа заключаются в кавычки по умолчанию. Это поведение совместимо с большинством реализаций JavaScript.
Возможные значения:
- 0 — Целые числа выводятся без кавычек.
- 1 — Целые числа заключаются в кавычки.
output_format_json_quote_decimals
Управляет экранированием дробных чисел в форматах вывода JSON.
Отключено по умолчанию.
output_format_json_quote_denormals
Включает вывод +nan
, -nan
, +inf
, -inf
в формате JSON вывода.
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
Пример
Рассмотрим следующую таблицу account_orders
:
Когда output_format_json_quote_denormals = 0
, запрос возвращает null
значения в выводе:
Когда output_format_json_quote_denormals = 1
, запрос возвращает:
output_format_json_skip_null_value_in_named_tuples
Пропускать пары ключ-значение с нулевым значением при сериализации именованных столбцов tuple как JSON объекты. Это действительно только когда output_format_json_named_tuples_as_objects равно true.
output_format_json_validate_utf8
Управляет проверкой последовательностей UTF-8 в форматах вывода JSON, не влияет на форматы JSON/JSONCompact/JSONColumnsWithMetadata, они всегда проверяют UTF-8.
Отключено по умолчанию.
output_format_markdown_escape_special_characters
Когда включено, экранируйте специальные символы в Markdown.
Common Mark определяет следующие специальные символы, которые можно экранировать с помощью :
Возможные значения:
- 0 — Отключить.
- 1 — Включить.
output_format_msgpack_uuid_representation
Способ вывода UUID в формате MsgPack.
output_format_native_encode_types_in_binary_format
Записывайте типы данных в бинарном формате вместо имен типов в формате Native.
output_format_native_write_json_as_string
Записывать данные из колонки JSON как колонку String, содержащую строковые представления JSON вместо стандартной сериализации JSON в формате Native.
output_format_orc_compression_method
Метод сжатия для формата вывода ORC. Поддерживаемые кодеки: lz4, snappy, zlib, zstd, none (несжатый)
output_format_orc_dictionary_key_size_threshold
Для строковой колонки в формате ORC, если количество уникальных значений больше этой доли от общего числа ненулевых строк, отключить кодирование словаря. В противном случае кодирование словаря включено.
output_format_orc_row_index_stride
Целевая ширина индекса строки в формате ORC.
output_format_orc_string_as_string
Использовать тип ORC String вместо Binary для строковых колонок.
output_format_orc_writer_time_zone_name
Название часового пояса для ORC писателя, стандартный часовой пояс ORC писателя - GMT.
output_format_parquet_batch_size
Проверяйте размер страницы каждые это количество строк. Рассмотрите возможность уменьшения, если у вас есть колонки со средним размером значений более нескольких КБ.
output_format_parquet_bloom_filter_bits_per_value
Приблизительное количество бит, используемое для каждого уникального значения в фильтрах Блума Parquet. Оцененные уровни ложных срабатываний:
- 6 бит - 10%
- 10.5 бит - 1%
- 16.9 бит - 0.1%
- 26.4 бит - 0.01%
- 41 бит - 0.001%
output_format_parquet_bloom_filter_flush_threshold_bytes
Где в файле parquet разместить фильтры Блума. Фильтры Блума будут записываться группами примерно этого размера. В частности:
- если 0, фильтры Блума для каждой группы строк записываются сразу после группы строк,
- если больше общего размера всех фильтров Блума, фильтры Блума для всех групп строк будут накапливаться в памяти, а затем записываться вместе ближе к концу файла,
- в противном случае фильтры Блума будут накапливаться в памяти и записываться, когда их общий размер превысит это значение.
output_format_parquet_compliant_nested_types
В схеме файла parquet используйте имя 'element' вместо 'item' для элементов списка. Это исторический артефакт реализации библиотеки Arrow. В общем, увеличивает совместимость, кроме, возможно, некоторых старых версий Arrow.
output_format_parquet_compression_method
Метод сжатия для формата вывода Parquet. Поддерживаемые кодеки: snappy, lz4, brotli, zstd, gzip, none (несжатый).
output_format_parquet_data_page_size
Целевой размер страницы в байтах, до сжатия.
output_format_parquet_datetime_as_uint32
Записывать значения DateTime как сырой unix-метка времени (читается как UInt32), вместо преобразования в миллисекунды (читается как DateTime64(3)).
output_format_parquet_fixed_string_as_fixed_byte_array
Использовать тип Parquet FIXED_LENGTH_BYTE_ARRAY вместо Binary для колонок FixedString.
output_format_parquet_parallel_encoding
Выполнять кодирование Parquet в нескольких потоках. Требует output_format_parquet_use_custom_encoder.
output_format_parquet_row_group_size
Целевой размер группы строк в строках.
output_format_parquet_row_group_size_bytes
Целевой размер группы строк в байтах, до сжатия.
output_format_parquet_string_as_string
Использовать тип Parquet String вместо Binary для строковых колонок.
output_format_parquet_use_custom_encoder
Использовать более быструю реализацию кодера Parquet.
output_format_parquet_version
Версия формата Parquet для формата вывода. Поддерживаемые версии: 1.0, 2.4, 2.6 и 2.latest (по умолчанию).
output_format_parquet_write_bloom_filter
Записывать фильтры Блума в файлы Parquet. Требует output_format_parquet_use_custom_encoder = true.
output_format_parquet_write_page_index
Записывать индекс колонок и смещения (т.е. статистику о каждой странице данных, которая может быть использована для фильтрации при чтении) в файлы Parquet.
output_format_pretty_color
Использовать ANSI escape последовательности в формате Pretty. 0 - отключено, 1 - включено, 'auto' - включено, если терминал.
output_format_pretty_display_footer_column_names
Отображать имена колонок в нижнем колонтитуле, если имеется много строк таблицы.
Возможные значения:
- 0 — Имена колонок не отображаются в нижнем колонтитуле.
- 1 — Имена колонок отображаются в нижнем колонтитуле, если количество строк больше или равно пороговому значению, установленному параметром output_format_pretty_display_footer_column_names_min_rows (по умолчанию 50).
Пример
Запрос:
Результат:
output_format_pretty_display_footer_column_names_min_rows
Устанавливает минимальное количество строк, для которого будет отображаться нижний колонтитул с именами колонок, если параметр output_format_pretty_display_footer_column_names включен.
output_format_pretty_fallback_to_vertical
Если включено, и таблица широкая, но короткая, формат Pretty выведет её так же, как формат Vertical.
Смотрите output_format_pretty_fallback_to_vertical_max_rows_per_chunk
и output_format_pretty_fallback_to_vertical_min_table_width
для подробной настройки этого поведения.
output_format_pretty_fallback_to_vertical_max_rows_per_chunk
Падение в Vertical формат (см. output_format_pretty_fallback_to_vertical
) будет активировано только в том случае, если количество записей в чанке не больше указанного значения.
output_format_pretty_fallback_to_vertical_min_columns
Падение в Vertical формат (см. output_format_pretty_fallback_to_vertical
) будет активировано только в том случае, если количество колонок больше указанного значения.
output_format_pretty_fallback_to_vertical_min_table_width
Падение в Vertical формат (см. output_format_pretty_fallback_to_vertical
) будет активировано только в том случае, если сумма длин колонок в таблице составляет не менее указанного значения или если хотя бы одно значение содержит символ новой строки.
output_format_pretty_glue_chunks
Если данные, отображаемые в Pretty формате, пришли в нескольких чанках, даже с задержкой, но следующий чанк имеет такие же ширины колонок, как предыдущий, используйте ANSI escape последовательности, чтобы вернуться к предыдущей строке и перезаписать нижний колонтитул предыдущего чанка, продолжая его с данными нового чанка. Это делает результат более визуально приятным.
0 - отключено, 1 - включено, 'auto' - включено, если терминал.
output_format_pretty_grid_charset
Кодировка символов для печати границ таблицы. Доступные кодировки: ASCII, UTF-8 (по умолчанию).
output_format_pretty_highlight_digit_groups
Если включено, и вывод является терминалом, выделять каждую цифру, соответствующую количеству тысяч, миллионов и т.д. подчеркиванием.
output_format_pretty_highlight_trailing_spaces
Если включено, и вывод является терминалом, выделять конечные пробелы серым цветом и подчеркиванием.
output_format_pretty_max_column_name_width_cut_to
Если имя колонки слишком длинное, обрезать его до этой длины.
Колонка будет обрезана, если она длиннее, чем output_format_pretty_max_column_name_width_cut_to
плюс output_format_pretty_max_column_name_width_min_chars_to_cut
.
output_format_pretty_max_column_name_width_min_chars_to_cut
Минимальное количество символов для обрезки, если имя колонки слишком длинное.
Колонка будет обрезана, если она длиннее, чем output_format_pretty_max_column_name_width_cut_to
плюс output_format_pretty_max_column_name_width_min_chars_to_cut
.
output_format_pretty_max_column_pad_width
Максимальная ширина для дополнения всех значений в колонке в формате Pretty.
output_format_pretty_max_rows
Ограничение на количество строк для форматов Pretty.
output_format_pretty_max_value_width
Максимальная ширина значения, отображаемого в формате Pretty. Если больше - оно будет обрезано. Значение 0 означает - никогда не обрезать.
output_format_pretty_max_value_width_apply_for_single_value
Обрезать значения (см. параметр output_format_pretty_max_value_width
), только когда это не единственное значение в блоке. В противном случае выводить его целиком, что полезно для запроса SHOW CREATE TABLE
.
output_format_pretty_multiline_fields
Если включено, форматы Pretty будут отображать многострочные поля внутри ячейки таблицы, чтобы сохранить контур таблицы. Если нет, они будут отображаться как есть, потенциально деформируя таблицу (один из плюсов отключения заключается в том, что копирование и вставка многострочных значений будет проще).
output_format_pretty_row_numbers
Добавить номера строк перед каждой строкой для формата вывода Pretty.
output_format_pretty_single_large_number_tip_threshold
Печать читаемого значения для числа в правой части таблицы, если блок состоит из одного числа, превышающего это значение (кроме 0).
output_format_pretty_squash_consecutive_ms
Ожидать следующий блок до указанного количества миллисекунд и объединять его с предыдущим перед записью. Это избегает частого вывода слишком маленьких блоков, но при этом позволяет отображать данные в формате потоковой передачи.
output_format_pretty_squash_max_wait_ms
Выводить ожидающий блок в формате Pretty, если прошло более указанного количества миллисекунд с момента предыдущего вывода.
output_format_protobuf_nullables_with_google_wrappers
При сериализации Nullable колонок с помощью оберток Google, сериализовать значения по умолчанию как пустые обертки. Если отключено, значения по умолчанию и null не сериализуются.
output_format_schema
Путь к файлу, в который будет сохранена автоматически сгенерированная схема в форматах Cap'n Proto или Protobuf.
output_format_sql_insert_include_column_names
Включить имена колонок в запросе INSERT.
output_format_sql_insert_max_batch_size
Максимальное количество строк в одном выражении INSERT.
output_format_sql_insert_quote_names
Указывать имена колонок с символами '`'.
output_format_sql_insert_table_name
Имя таблицы в запросе INSERT.
output_format_sql_insert_use_replace
Использовать оператор REPLACE вместо INSERT.
output_format_tsv_crlf_end_of_line
Если установлено в true, конец строки в формате TSV будет \r\n вместо \n.
output_format_values_escape_quote_with_quote
Если true, экранировать ' с '', иначе заключать в \.
output_format_write_statistics
Записывать статистику о прочитанных строках, байтах, времени, затрачиваемом на подходящие форматы вывода.
Включено по умолчанию.
precise_float_parsing
Предпочитать более точный (но медленный) алгоритм парсинга плавающей запятой.
regexp_dict_allow_hyperscan
Разрешить словарь regexp_tree использовать библиотеку Hyperscan.
regexp_dict_flag_case_insensitive
Использовать нечувствительное к регистру сопоставление для словаря regexp_tree. Может быть переопределено в отдельных выражениях с помощью (?i) и (?-i).
regexp_dict_flag_dotall
Разрешить '.' соответствовать символам новой строки для словаря regexp_tree.
rows_before_aggregation
Если включено, ClickHouse будет предоставлять точное значение для статистики rows_before_aggregation, представляющее количество строк, прочитанных до агрегации.
schema_inference_hints
Список имен колонок и типов, которые будут использоваться в качестве подсказок при выводе схемы для форматов без схемы.
Пример:
Запрос:
Результат:
Если schema_inference_hints
не отформатирована правильно, или если есть опечатка или неверный тип данных и т.д., вся схема schema_inference_hints будет проигнорирована.
schema_inference_make_columns_nullable
Управляет тем, чтобы выводимые типы стали Nullable
при выводе схемы.
Если настройка включена, все выводимые типы будут Nullable
, если отключена, выводимые типы никогда не будут Nullable
, если установлена в auto
, выводимый тип будет Nullable
, только если колонка содержит NULL
в выборке, которая анализируется во время вывода схемы, или метаданные файла содержат информацию о возможности null для колонки.
schema_inference_make_json_columns_nullable
Управляет тем, чтобы выводимые JSON-типы стали Nullable
при выводе схемы.
Если эта настройка включена вместе с schema_inference_make_columns_nullable, выводимый JSON-тип будет Nullable
.
schema_inference_mode
Режим вывода схемы. 'default' - предполагать, что все файлы имеют одинаковую схему и схема может быть выведена из любого файла, 'union' - файлы могут иметь разные схемы, и результирующая схема должна быть объединением схем всех файлов.
show_create_query_identifier_quoting_rule
Установите правило кавычек для идентификаторов в запросе SHOW CREATE.
show_create_query_identifier_quoting_style
Установите стиль кавычек для идентификаторов в запросе SHOW CREATE.
type_json_skip_duplicated_paths
Если включено, при парсинге JSON-объекта, дублированные пути будут игнорироваться и вместо исключения будет вставлен только первый.
validate_experimental_and_suspicious_types_inside_nested_types
Проверять использование экспериментальных и подозрительных типов внутри вложенных типов, таких как Array/Map/Tuple.