input_format_allow_errors_num
input_format_allow_errors_ratio.
Если при чтении строк возникает ошибка, но счетчик ошибок все еще меньше input_format_allow_errors_num, ClickHouse игнорирует эту строку и переходит к следующей.
Если превышены значения и input_format_allow_errors_num, и input_format_allow_errors_ratio, ClickHouse генерирует исключение.
input_format_allow_errors_ratio
input_format_allow_errors_num.
Если при чтении строк возникает ошибка, но счётчик ошибок всё ещё меньше input_format_allow_errors_ratio, ClickHouse игнорирует строку и переходит к следующей.
Если превышены оба порога — input_format_allow_errors_num и input_format_allow_errors_ratio, ClickHouse генерирует исключение.
input_format_allow_seeks
input_format_arrow_allow_missing_columns
input_format_arrow_case_insensitive_column_matching
input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference
input_format_arrow_use_native_reader
input_format_avro_allow_missing_fields
input_format_avro_null_as_default
input_format_binary_decode_types_in_binary_format
input_format_binary_max_type_complexity
Map(String, UInt32) = 3 узла. Защищает от вредоносных входных данных. 0 = без ограничений.
input_format_binary_read_json_as_string
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference
input_format_capn_proto_skip_fields_with_unsupported_types_in_schema_inference
input_format_column_name_matching_mode
- match_case: сопоставлять с учётом регистра
- ignore_case: сопоставлять без учёта регистра
- auto: сначала пытается сопоставлять с учётом регистра; если не удаётся, пытается сопоставлять без учёта регистра.
input_format_connection_handling
Включение этого параметра отключает параллельный разбор и делает дедупликацию невозможной
input_format_csv_allow_cr_end_of_line
input_format_csv_allow_variable_number_of_columns
input_format_csv_allow_whitespace_or_tab_as_delimiter
input_format_csv_arrays_as_nested_csv
input_format_csv_deserialize_separate_columns_into_tuple
input_format_csv_detect_header
input_format_csv_empty_as_default
input_format_csv_enum_as_number
enum в форматах CSV индексами enum
input_format_csv_missing_nullable_as_empty_string
Nullable(String) при отсутствии значения в CSV. Отсутствующее значение — это пустое место между запятыми, перед ними или после них, не заключенное в кавычки. Если эта настройка включена, то независимо от значения input_format_csv_empty_as_default отсутствующее значение Nullable(String) будет интерпретироваться как пустой String, а не как NULL.
input_format_csv_skip_first_lines
input_format_csv_skip_trailing_empty_lines
input_format_csv_trim_whitespaces
input_format_csv_try_infer_numbers_from_strings
input_format_csv_try_infer_strings_from_quoted_tuples
String.
input_format_csv_use_best_effort_in_schema_inference
input_format_csv_use_default_on_bad_values
input_format_custom_allow_variable_number_of_columns
input_format_custom_detect_header
input_format_custom_skip_trailing_empty_lines
input_format_defaults_for_omitted_fields
INSERT пропущенные значения входных столбцов заменяются значениями по умолчанию соответствующих столбцов. Эта опция применяется к форматам JSONEachRow (и другим форматам JSON), CSV, TabSeparated, TSKV, Parquet, Arrow, Avro, ORC, Native, а также к форматам с суффиксами WithNames/WithNamesAndTypes.
Когда эта опция включена, расширенные метаданные таблицы передаются с сервера клиенту. Это требует дополнительных вычислительных ресурсов на сервере и может снизить производительность.
- 0 — Отключено.
- 1 — Включено.
input_format_force_null_for_omitted_fields
input_format_geojson_unsupported_geometry_handling
GeoJSON нужно сохранить в столбце geometry корректный геометрический тип GeoJSON, который не может быть представлен типом Geometry в ClickHouse (например, GeometryCollection или MultiPoint).
Возможные значения:
'throw'(по умолчанию) — сгенерировать исключение.'null'— вставить значениеNULLв столбецgeometryи продолжить разбор.
geometry материализован. Если он не запрошен как выходной столбец, такая геометрия проверяется на корректность, но эта обработка не срабатывает.
input_format_hive_text_allow_variable_number_of_columns
input_format_hive_text_collection_items_delimiter
input_format_hive_text_fields_delimiter
input_format_hive_text_map_keys_delimiter
input_format_import_nested_json
- 0 — Отключено.
- 1 — Включено.
- Использование структур Nested в формате
JSONEachRow.
input_format_ipv4_default_on_conversion_error
input_format_ipv6_default_on_conversion_error
input_format_json_compact_allow_variable_number_of_columns
input_format_json_defaults_for_missing_elements_in_named_tuple
input_format_json_named_tuples_as_objects.
Включен по умолчанию.
input_format_json_empty_as_default
input_format_defaults_for_omitted_fields.
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
input_format_json_ignore_unknown_keys_in_named_tuple
input_format_json_ignore_unnecessary_fields
input_format_json_infer_array_of_dynamic_from_array_of_different_types
input_format_json_infer_incomplete_types_as_strings
Null/{}/[].
В форматах JSON любое значение можно прочитать как String, поэтому при определении схемы можно избежать ошибок вида Cannot determine type for column 'column_name' by first 25000 rows of data, most likely this column contains only Nulls or empty Arrays/Maps,
используя тип String для ключей с неизвестными типами.
Пример:
input_format_json_map_as_array_of_tuples
input_format_json_max_depth
input_format_json_named_tuples_as_objects
input_format_json_read_arrays_as_strings
input_format_json_read_bools_as_numbers
input_format_json_read_bools_as_strings
input_format_json_read_numbers_as_strings
input_format_json_read_objects_as_strings
input_format_json_throw_on_bad_escape_sequence
input_format_json_try_infer_named_tuples_from_objects
input_format_json_try_infer_numbers_from_strings
input_format_json_use_string_type_for_ambiguous_paths_in_named_tuples_inference_from_objects
input_format_json_validate_types_from_metadata
input_format_max_block_size_bytes
input_format_max_block_wait_ms
Этот параметр работает только при включенном
input_format_connection_handling. Установка значения также отключает параллельный разбор и делает дедупликацию невозможной.Для стриминговых вставок также необходимо установить
min_insert_block_size_rows=0 и min_insert_block_size_bytes=0. В противном случае разобранные блоки могут по-прежнему накапливаться в памяти на стадии укрупнения блоков, пока не будут достигнуты эти пороговые значения, что препятствует своевременной вставке.input_format_max_bytes_to_read_for_schema_inference
input_format_max_rows_to_read_for_schema_inference
input_format_msgpack_number_of_columns
input_format_mysql_dump_map_column_names
input_format_mysql_dump_table_name
input_format_native_allow_types_conversion
input_format_native_decode_types_in_binary_format
input_format_null_as_default
NULL вызывает исключение. Если тип столбца — Nullable, значения NULL вставляются как есть, независимо от этого параметра.
Этот параметр применим к большинству входных форматов.
Для сложных выражений по умолчанию также должен быть включен input_format_defaults_for_omitted_fields.
Возможные значения:
- 0 — Вставка
NULLв столбец, не являющийся Nullable, вызывает исключение. - 1 — Поля со значением
NULLинициализируются значениями столбца по умолчанию.
input_format_orc_allow_missing_columns
input_format_orc_case_insensitive_column_matching
input_format_orc_dictionary_as_low_cardinality
input_format_orc_filter_push_down
input_format_orc_reader_time_zone_name
input_format_orc_row_batch_size
input_format_orc_skip_columns_with_unsupported_types_in_schema_inference
input_format_orc_use_fast_decoder
input_format_parallel_parsing
- 1 — Включено.
- 0 — Отключено.
input_format_parquet_allow_geoparquet_parser
input_format_parquet_allow_missing_columns
input_format_parquet_bloom_filter_push_down
input_format_parquet_case_insensitive_column_matching
input_format_parquet_enable_json_parsing
input_format_parquet_enable_row_group_prefetch
input_format_parquet_filter_push_down
input_format_parquet_local_file_min_bytes_for_seek
input_format_parquet_local_time_as_utc
isAdjustedToUTC=false. Если true: DateTime64(…, ‘UTC’), если false: DateTime64(…). Ни один из вариантов не является полностью корректным, так как в ClickHouse нет типа данных для локального времени без привязки к часовому поясу. Как ни парадоксально, вариант true, вероятно, менее ошибочен, поскольку форматирование временной метки 'UTC' как String даст корректное представление локального времени.
input_format_parquet_max_block_size
input_format_parquet_memory_high_watermark
input_format_parquet_memory_low_watermark
input_format_parquet_page_filter_push_down
input_format_parquet_prefer_block_bytes
input_format_parquet_preserve_order
ORDER BY _row_number.
input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference
input_format_parquet_use_offset_index
input_format_parquet_verify_checksums
input_format_protobuf_flatten_google_wrappers
google.protobuf.StringValue 'str' для столбца String 'str'. Для столбцов с типом Nullable пустые wrappers распознаются как значения по умолчанию, а отсутствующие — как null
input_format_protobuf_oneof_presence
input_format_protobuf_skip_fields_with_unsupported_types_in_schema_inference
input_format_record_errors_file_path
input_format_skip_unknown_fields
- JSONEachRow (и другие JSON-форматы)
- BSONEachRow (и другие JSON-форматы)
- TSKV
- Все форматы с суффиксами WithNames/WithNamesAndTypes
- MySQLDump
- Native
- 0 — Отключено.
- 1 — Включено.
input_format_try_infer_dates
Date по строковым полям при автоматическом определении схемы для текстовых форматов. Если все поля в столбце входных данных были успешно разобраны как даты, результирующий тип будет Date; если хотя бы одно поле не удалось разобрать как дату, результирующий тип будет String.
Включено по умолчанию.
input_format_try_infer_datetimes
DateTime64 для строковых полей при автоматическом определении схемы для текстовых форматов. Если все поля в столбце входных данных были успешно разобраны как значения даты и времени, результирующий тип будет DateTime64; если хотя бы одно поле не удалось разобрать как значение даты и времени, результирующий тип будет String.
Включено по умолчанию.
input_format_try_infer_datetimes_only_datetime64
input_format_try_infer_exponent_floats
input_format_try_infer_integers
Int64; если хотя бы одно число имеет дробную часть, результирующим типом будет Float64.
Включено по умолчанию.
input_format_try_infer_variants
Variant при определении схемы для текстовых форматов, когда для элементов столбца/массива возможно более одного типа.
Возможные значения:
- 0 — Отключено.
- 1 — Включено.
input_format_tsv_allow_variable_number_of_columns
input_format_tsv_crlf_end_of_line
input_format_tsv_detect_header
input_format_tsv_empty_as_default
input_format_tsv_enum_as_number
input_format_tsv_skip_first_lines
input_format_tsv_skip_trailing_empty_lines
input_format_tsv_use_best_effort_in_schema_inference
input_format_values_accurate_types_of_literals
input_format_values_deduce_templates_of_expressions
input_format_values_interpret_expressions
input_format_with_names_use_header
- CSVWithNames
- CSVWithNamesAndTypes
- TabSeparatedWithNames
- TabSeparatedWithNamesAndTypes
- JSONCompactEachRowWithNames
- JSONCompactEachRowWithNamesAndTypes
- JSONCompactStringsEachRowWithNames
- JSONCompactStringsEachRowWithNamesAndTypes
- RowBinaryWithNames
- RowBinaryWithNamesAndTypes
- CustomSeparatedWithNames
- CustomSeparatedWithNamesAndTypes
- 0 — Отключено.
- 1 — Включено.
input_format_with_types_use_header
- CSVWithNamesAndTypes
- TabSeparatedWithNamesAndTypes
- JSONCompactEachRowWithNamesAndTypes
- JSONCompactStringsEachRowWithNamesAndTypes
- RowBinaryWithNamesAndTypes
- CustomSeparatedWithNamesAndTypes
- 0 — Отключено.
- 1 — Включено.