paramètres de format input_format_* - ClickHouse Documentation

Ces paramètres sont générés automatiquement à partir du code source.

input_format_allow_errors_num

Définit le nombre maximal d’erreurs tolérées lors de la lecture de formats texte (CSV, TSV, etc.). La valeur par défaut est 0. Utilisez-le toujours avec input_format_allow_errors_ratio. Si une erreur se produit lors de la lecture de lignes, mais que le compteur d’erreurs reste inférieur à input_format_allow_errors_num, ClickHouse ignore la ligne et passe à la suivante. Si les seuils de input_format_allow_errors_num et de input_format_allow_errors_ratio sont tous deux dépassés, ClickHouse lève une exception.

input_format_allow_errors_ratio

Définit le pourcentage maximal d’erreurs autorisé lors de la lecture de formats textuels (CSV, TSV, etc.). Le pourcentage d’erreurs est défini sous la forme d’un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 0. Utilisez-le toujours avec input_format_allow_errors_num. Si une erreur se produit lors de la lecture de lignes, mais que le compteur d’erreurs reste inférieur à input_format_allow_errors_ratio, ClickHouse ignore la ligne et passe à la suivante. Si input_format_allow_errors_num et input_format_allow_errors_ratio sont tous deux dépassés, ClickHouse lève une exception.

input_format_allow_seeks

Autorise les repositionnements de lecture (ou les lectures par plage) lors de la lecture des formats d’entrée ORC, Parquet et Arrow. Lorsqu’elle est activée et que la source le permet (par ex. fichier local, S3, HTTP avec prise en charge des plages et taille connue), ClickHouse peut lire uniquement les plages d’octets nécessaires et utiliser moins de mémoire. Lorsqu’elle est désactivée, ou lorsque la source ne prend pas en charge les repositionnements de lecture (par ex. taille de fichier inconnue ou flux ne permettant pas le repositionnement), certains lecteurs peuvent revenir au chargement du fichier entier en mémoire. Activée par défaut.

input_format_arrow_allow_missing_columns

Autoriser les colonnes manquantes lors de la lecture des formats d’entrée Arrow

input_format_arrow_case_insensitive_column_matching

Ignorer la casse lors de la correspondance entre les colonnes Arrow et les colonnes CH.

input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference

Ignorer les colonnes dont les types ne sont pas pris en charge lors de l’inférence du schéma pour le format Arrow

input_format_arrow_use_native_reader

Utilisez le lecteur natif de ClickHouse pour les formats Arrow et ArrowStream à la place de celui basé sur la bibliothèque Apache Arrow.

input_format_avro_allow_missing_fields

Pour le format Avro/AvroConfluent : lorsque le champ est introuvable dans le schéma, utiliser la valeur par défaut au lieu de renvoyer une erreur

input_format_avro_null_as_default

Pour le format Avro/AvroConfluent : insérer la valeur par défaut en cas de NULL et de colonne non Nullable

input_format_binary_decode_types_in_binary_format

Lire les types de données au format binaire plutôt que les noms de types dans le format d’entrée RowBinaryWithNamesAndTypes

input_format_binary_max_type_complexity

Nombre maximal de nœuds de type lors du décodage des types binaires (il ne s’agit pas de la profondeur, mais du nombre total). Map(String, UInt32) = 3 nœuds. Protège contre les entrées malveillantes. 0 = illimité.

input_format_binary_read_json_as_string

Lire les valeurs du type de données JSON sous forme de valeurs String contenant du JSON dans le format d’entrée RowBinary.

input_format_bson_skip_fields_with_unsupported_types_in_schema_inference

Ignorer les champs dont les types ne sont pas pris en charge lors de l’inférence du schéma pour le format BSON.

input_format_capn_proto_skip_fields_with_unsupported_types_in_schema_inference

Ignorer les colonnes de types non pris en charge lors de l’inférence du schéma pour le format CapnProto

input_format_column_name_matching_mode

Définit le mode de correspondance des noms de colonnes lors de l’ingestion de données dans différents formats (notamment JSONEachRow, CSVWithNames, JSONColumns, BSONEachRow et RowBinaryWithNames). Modes pris en charge :

match_case : correspondance sensible à la casse
- ignore_case : correspondance insensible à la casse
- auto : essaie d’abord une correspondance sensible à la casse ; en cas d’échec, essaie une correspondance insensible à la casse.

input_format_connection_handling

Lorsque cette option est activée, si la connexion se ferme de manière inattendue, les données restantes dans le tampon sont analysées et traitées au lieu de provoquer une erreur

L’activation de cette option désactive l’analyse parallèle et rend la déduplication impossible

input_format_csv_allow_cr_end_of_line

Si cette option est définie sur true, \r sera autorisé en fin de ligne s’il n’est pas suivi de

input_format_csv_allow_variable_number_of_columns

Ignorer les colonnes supplémentaires dans le CSV en entrée (si le fichier comporte plus de colonnes que prévu) et traiter les champs manquants dans le CSV en entrée comme des valeurs par défaut

input_format_csv_allow_whitespace_or_tab_as_delimiter

Autorise l’utilisation des espaces et des tabulations (\t) comme délimiteur de champ dans les chaînes CSV

input_format_csv_arrays_as_nested_csv

Lors de la lecture d’un Array à partir de CSV, les éléments sont supposés avoir été sérialisés en CSV imbriqué, puis placés dans une chaîne de caractères. Exemple : ”[""Hello"", ""world"", ""42"""" TV""]”. Les crochets entourant le tableau peuvent être omis.

input_format_csv_deserialize_separate_columns_into_tuple

Si ce paramètre est défini sur true, des colonnes distinctes écrites au format CSV peuvent être désérialisées en une colonne Tuple.

input_format_csv_detect_header

Détecte automatiquement l’en-tête contenant les noms et les types au format CSV

input_format_csv_empty_as_default

Considère les champs vides dans l’entrée CSV comme des valeurs par défaut.

input_format_csv_enum_as_number

Traiter les valeurs enum insérées dans les formats CSV comme des indices d’enum

input_format_csv_missing_nullable_as_empty_string

Contrôle la façon dont Nullable(String) est lu lorsqu’une valeur est manquante dans un CSV. Une valeur manquante correspond à un espace vide entre, avant ou après des virgules, sans être entouré de guillemets. Si ce paramètre est activé, quelle que soit la valeur de input_format_csv_empty_as_default, la valeur manquante de Nullable(String) sera interprétée comme une String vide, et non comme NULL.

input_format_csv_skip_first_lines

Ignore le nombre de lignes spécifié au début des données au format CSV

input_format_csv_skip_trailing_empty_lines

Ignorer les lignes vides en fin de CSV

input_format_csv_trim_whitespaces

Supprime les espaces et les tabulations (\t) au début et à la fin des chaînes CSV

input_format_csv_try_infer_numbers_from_strings

Si ce paramètre est activé, lors de l’inférence du schéma, ClickHouse tentera d’inférer des nombres à partir de champs de type String. Cela peut être utile si les données CSV contiennent des nombres UInt64 entre guillemets. Désactivé par défaut.

input_format_csv_try_infer_strings_from_quoted_tuples

Interprète les tuples entre guillemets dans les données d’entrée comme une valeur de type String.

input_format_csv_use_best_effort_in_schema_inference

Utilise divers ajustements et heuristiques pour inférer le schéma du format CSV

input_format_csv_use_default_on_bad_values

Permet de définir une valeur par défaut pour la colonne lorsque la désérialisation d’un champ CSV échoue en raison d’une valeur invalide

input_format_custom_allow_variable_number_of_columns

Ignorer les colonnes supplémentaires dans l’entrée CustomSeparated (si le fichier contient plus de colonnes que prévu) et traiter les champs manquants dans l’entrée CustomSeparated comme des valeurs par défaut

input_format_custom_detect_header

Détecte automatiquement l’en-tête avec les noms et les types au format CustomSeparated

input_format_custom_skip_trailing_empty_lines

Ignorer les lignes vides finales au format CustomSeparated

input_format_defaults_for_omitted_fields

Lors de l’exécution de requêtes INSERT, remplacez les valeurs des colonnes d’entrée omises par les valeurs par défaut des colonnes correspondantes. Cette option s’applique aux formats JSONEachRow (et aux autres formats JSON), CSV, TabSeparated, TSKV, Parquet, Arrow, Avro, ORC, Native, ainsi qu’aux formats avec les suffixes WithNames/WithNamesAndTypes.

Lorsque cette option est activée, des métadonnées de table étendues sont envoyées du serveur au client. Cela consomme des ressources de calcul supplémentaires sur le serveur et peut réduire les performances.

Valeurs possibles :

0 — Désactivé.
1 — Activé.

input_format_force_null_for_omitted_fields

Forcer l’initialisation des champs omis avec des valeurs NULL

input_format_geojson_unsupported_geometry_handling

Contrôle ce qui se passe lorsqu’un type de géométrie GeoJSON valide qui ne peut pas être représenté par le type Geometry de ClickHouse (comme GeometryCollection ou MultiPoint) doit être stocké dans la colonne geometry lors de la lecture d’une entrée au format GeoJSON. Valeurs possibles :

'throw' (par défaut) — lever une exception.
'null' — insérer une valeur NULL dans la colonne geometry et poursuivre l’analyse.

Cela s’applique uniquement lorsque la colonne geometry est matérialisée. Lorsqu’il ne s’agit pas d’une colonne de sortie demandée, une telle géométrie est bien validée pour vérifier qu’elle est correctement formée, mais ne déclenche pas cette gestion.

input_format_hive_text_allow_variable_number_of_columns

Ignorer les colonnes supplémentaires dans l’entrée au format Hive Text (si le fichier comporte plus de colonnes que prévu) et traiter les champs manquants dans l’entrée au format Hive Text comme des valeurs par défaut

input_format_hive_text_collection_items_delimiter

Délimiteur entre les éléments d’une collection (Array ou Map) dans Hive Text File

input_format_hive_text_fields_delimiter

Délimiteur entre les champs du fichier Hive Text

input_format_hive_text_map_keys_delimiter

Délimiteur entre la clé et la valeur d’une paire de map dans Hive Text File

input_format_import_nested_json

Active ou désactive l’insertion de données JSON contenant des objets imbriqués. Formats pris en charge :

JSONEachRow

Valeurs possibles :

0 — Désactivé.
1 — Activé.

Voir aussi :

Utilisation des structures Nested avec le format JSONEachRow.

input_format_ipv4_default_on_conversion_error

La désérialisation d’IPv4 utilisera les valeurs par défaut au lieu de lever une exception en cas d’erreur lors de la conversion. Désactivé par défaut.

input_format_ipv6_default_on_conversion_error

La désérialisation d’IPv6 utilisera les valeurs par défaut au lieu de lever une exception en cas d’erreur de conversion. Désactivé par défaut.

input_format_json_compact_allow_variable_number_of_columns

Autorise un nombre variable de colonnes dans les lignes des formats d’entrée JSONCompact/JSONCompactEachRow. Ignore les colonnes supplémentaires dans les lignes qui contiennent plus de colonnes que prévu et considère les colonnes manquantes comme des valeurs par défaut. Désactivé par défaut.

input_format_json_defaults_for_missing_elements_in_named_tuple

Insère des valeurs par défaut pour les éléments manquants d’un objet JSON lors de l’analyse d’un tuple nommé. Ce paramètre fonctionne uniquement lorsque le paramètre input_format_json_named_tuples_as_objects est activé. Activé par défaut.

input_format_json_empty_as_default

Lorsqu’il est activé, ce paramètre remplace les champs d’entrée vides en JSON par des valeurs par défaut. Pour les expressions par défaut complexes, input_format_defaults_for_omitted_fields doit également être activé. Valeurs possibles :

0 — Désactivé.
1 — Activé.

input_format_json_ignore_unknown_keys_in_named_tuple

Ignorer les clés inconnues dans les objets JSON pour les tuples nommés. Activé par défaut.

input_format_json_ignore_unnecessary_fields

Ignorer les champs inutiles sans les analyser. Son activation peut faire qu’aucune exception ne soit levée pour des chaînes JSON au format invalide ou contenant des champs dupliqués

input_format_json_infer_array_of_dynamic_from_array_of_different_types

Si cette option est activée, lors de l’inférence du schéma, ClickHouse utilisera le type Array(Dynamic) pour les tableaux JSON contenant des valeurs de types de données différents. Exemple :

SET input_format_json_infer_array_of_dynamic_from_array_of_different_types=1;
DESC format(JSONEachRow, '{"a" : [42, "hello", [1, 2, 3]]}');

┌─name─┬─type───────────┐
│ a    │ Array(Dynamic) │
└──────┴────────────────┘

SET input_format_json_infer_array_of_dynamic_from_array_of_different_types=0;
DESC format(JSONEachRow, '{"a" : [42, "hello", [1, 2, 3]]}');

┌─name─┬─type─────────────────────────────────────────────────────────────┐
│ a    │ Tuple(Nullable(Int64), Nullable(String), Array(Nullable(Int64))) │
└──────┴──────────────────────────────────────────────────────────────────┘

Activé par défaut.

input_format_json_infer_incomplete_types_as_strings

Permet d’utiliser le type String pour les clés JSON qui ne contiennent que Null/{}/[] dans l’échantillon de données lors de l’inférence du schéma. Dans les formats JSON, toute valeur peut être lue comme String, ce qui permet d’éviter des erreurs telles que

Cannot determine type for column 'column_name' by first 25000 rows of data, most likely this column contains only Nulls or empty Arrays/Maps

lors de l’inférence du schéma en utilisant le type String pour les clés de type inconnu. Exemple :

SET input_format_json_infer_incomplete_types_as_strings = 1, input_format_json_try_infer_named_tuples_from_objects = 1;
DESCRIBE format(JSONEachRow, '{"obj" : {"a" : [1,2,3], "b" : "hello", "c" : null, "d" : {}, "e" : []}}');
SELECT * FROM format(JSONEachRow, '{"obj" : {"a" : [1,2,3], "b" : "hello", "c" : null, "d" : {}, "e" : []}}');

Résultat :

┌─name─┬─type───────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ obj  │ Tuple(a Array(Nullable(Int64)), b Nullable(String), c Nullable(String), d Nullable(String), e Array(Nullable(String))) │              │                    │         │                  │                │
└──────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

┌─obj────────────────────────────┐
│ ([1,2,3],'hello',NULL,'{}',[]) │
└────────────────────────────────┘

Activé par défaut.

input_format_json_map_as_array_of_tuples

Désérialise les colonnes Map sous forme de tableaux JSON de tuples. Désactivé par défaut.

input_format_json_max_depth

Profondeur maximale d’un champ en JSON. Il ne s’agit pas d’une limite stricte et elle n’a pas besoin d’être appliquée avec précision.

input_format_json_named_tuples_as_objects

Interpréter les colonnes de tuples nommés comme des objets JSON. Activé par défaut.

input_format_json_read_arrays_as_strings

Autorise l’analyse des tableaux JSON comme des chaînes dans les formats d’entrée JSON. Exemple :

SET input_format_json_read_arrays_as_strings = 1;
SELECT arr, toTypeName(arr), JSONExtractArrayRaw(arr)[3] from format(JSONEachRow, 'arr String', '{"arr" : [1, "Hello", [1,2,3]]}');

Résultat :

┌─arr───────────────────┬─toTypeName(arr)─┬─arrayElement(JSONExtractArrayRaw(arr), 3)─┐
│ [1, "Hello", [1,2,3]] │ String          │ [1,2,3]                                   │
└───────────────────────┴─────────────────┴───────────────────────────────────────────┘

Activé par défaut.

input_format_json_read_bools_as_numbers

Autorise l’analyse des booléens comme des nombres dans les formats d’entrée JSON. Activé par défaut.

input_format_json_read_bools_as_strings

Permet d’analyser les booléens sous forme de chaînes dans les formats d’entrée JSON. Activé par défaut.

input_format_json_read_numbers_as_strings

Permet d’interpréter les nombres comme des chaînes dans les formats d’entrée JSON. Activé par défaut.

input_format_json_read_objects_as_strings

Permet d’analyser les objets JSON comme des chaînes dans les formats d’entrée JSON. Exemple :

SET input_format_json_read_objects_as_strings = 1;
CREATE TABLE test (id UInt64, obj String, date Date) ENGINE=Memory();
INSERT INTO test FORMAT JSONEachRow {"id" : 1, "obj" : {"a" : 1, "b" : "Hello"}, "date" : "2020-01-01"};
SELECT * FROM test;

Résultat :

┌─id─┬─obj──────────────────────┬───────date─┐
│  1 │ {"a" : 1, "b" : "Hello"} │ 2020-01-01 │
└────┴──────────────────────────┴────────────┘

Activé par défaut.

input_format_json_throw_on_bad_escape_sequence

Lève une exception si une chaîne JSON contient une séquence d’échappement invalide dans les formats d’entrée JSON. Si cette option est désactivée, les séquences d’échappement invalides restent telles quelles dans les données. Activé par défaut.

input_format_json_try_infer_named_tuples_from_objects

Si ce paramètre est activé, lors de l’inférence du schéma, ClickHouse essaiera d’inférer un tuple nommé à partir d’objets JSON. Le tuple nommé obtenu contiendra tous les éléments de tous les objets JSON correspondants présents dans les données d’exemple. Exemple :

SET input_format_json_try_infer_named_tuples_from_objects = 1;
DESC format(JSONEachRow, '{"obj" : {"a" : 42, "b" : "Hello"}}, {"obj" : {"a" : 43, "c" : [1, 2, 3]}}, {"obj" : {"d" : {"e" : 42}}}')

Résultat :

┌─name─┬─type───────────────────────────────────────────────────────────────────────────────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ obj  │ Tuple(a Nullable(Int64), b Nullable(String), c Array(Nullable(Int64)), d Tuple(e Nullable(Int64))) │              │                    │         │                  │                │
└──────┴────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

Activé par défaut.

input_format_json_try_infer_numbers_from_strings

Si ce paramètre est activé, lors de l’inférence du schéma, ClickHouse essaiera d’inférer les nombres à partir des champs String. Cela peut être utile si les données JSON contiennent des nombres UInt64 entre guillemets. Désactivé par défaut.

input_format_json_use_string_type_for_ambiguous_paths_in_named_tuples_inference_from_objects

Utilise le type String au lieu de lever une exception en cas de chemins ambigus dans des objets JSON lors de l’inférence de tuples nommés

input_format_json_validate_types_from_metadata

Pour les formats d’entrée JSON/JSONCompact/JSONColumnsWithMetadata, si ce paramètre est défini sur 1, les types indiqués dans les métadonnées des données d’entrée seront comparés à ceux des colonnes correspondantes de la table. Activé par défaut.

input_format_max_block_size_bytes

Limite la taille, en octets, des blocs formés lors de l’analyse des données dans les formats d’entrée. Utilisé dans les formats d’entrée basés sur les lignes lorsqu’un bloc est formé côté ClickHouse. 0 signifie qu’il n’y a pas de limite en octets.

input_format_max_block_wait_ms

Limite le temps d’attente maximal, en millisecondes, avant l’émission d’un bloc lors de l’analyse des formats d’entrée basés sur les lignes. 0 signifie qu’il n’y a pas de limite.

Cette option fonctionne uniquement si input_format_connection_handling est activé. Le fait de définir une valeur désactive également l’analyse parallèle et rend la déduplication impossible.

Pour les insertions en streaming, vous devez également définir min_insert_block_size_rows=0 et min_insert_block_size_bytes=0. Sinon, les blocs analysés peuvent encore être accumulés en mémoire à l’étape de compactage des blocs jusqu’à ce que ces seuils soient atteints, ce qui empêche des insertions rapides.

Exemple : diffusion en streaming des modifications récentes de Wikipedia vers ClickHouse

clickhouse-client --query 'CREATE TABLE wikipedia_edits (data JSON)'

curl -sS --globoff -H 'Accept: application/json' --no-buffer \
  'https://stream.wikimedia.org/v2/stream/recentchange' \
  | clickhouse-client \
      --query 'INSERT INTO wikipedia_edits FORMAT JSONAsObject' \
      --input_format_max_block_wait_ms 1000 \
      --input_format_connection_handling 1 \
      --min_insert_block_size_rows 0 \
      --min_insert_block_size_bytes 0

input_format_max_bytes_to_read_for_schema_inference

La quantité maximale de données, en octets, à lire pour l’inférence automatique de schéma.

input_format_max_rows_to_read_for_schema_inference

Le nombre maximal de lignes de données à lire pour l’inférence automatique de schéma.

input_format_msgpack_number_of_columns

Le nombre de colonnes dans les données MsgPack insérées. Utilisé pour l’inférence automatique de schéma à partir des données.

input_format_mysql_dump_map_column_names

Faire correspondre, par leur nom, les colonnes des tables du dump MySQL avec celles de la table ClickHouse

input_format_mysql_dump_table_name

Nom de la table du dump MySQL à partir de laquelle lire les données

input_format_native_allow_types_conversion

Autoriser la conversion des types de données dans le format d’entrée Native

input_format_native_decode_types_in_binary_format

Lire les types de données au format binaire plutôt que les noms de types dans le format d’entrée Native

input_format_null_as_default

Active ou désactive l’initialisation des champs NULL avec les valeurs par défaut, si le type de données de ces champs n’est pas nullable. Si le type de la colonne n’est pas nullable et que ce paramètre est désactivé, l’insertion de NULL provoque une exception. Si le type de la colonne est nullable, les valeurs NULL sont insérées telles quelles, quel que soit ce paramètre. Ce paramètre s’applique à la plupart des formats d’entrée. Pour les expressions par défaut complexes, input_format_defaults_for_omitted_fields doit également être activé. Valeurs possibles :

0 — L’insertion de NULL dans une colonne non nullable provoque une exception.
1 — Les champs NULL sont initialisés avec les valeurs par défaut de la colonne.

input_format_orc_allow_missing_columns

Autoriser les colonnes manquantes lors de la lecture des fichiers ORC en entrée

input_format_orc_case_insensitive_column_matching

Ignorer la casse lors de la mise en correspondance des colonnes ORC avec les colonnes CH.

input_format_orc_dictionary_as_low_cardinality

Traiter les colonnes ORC encodées avec un dictionnaire comme des colonnes LowCardinality lors de la lecture des fichiers ORC.

input_format_orc_filter_push_down

Lors de la lecture de fichiers ORC, ignore les stripes ou les groupes de lignes entiers en fonction des expressions WHERE/PREWHERE, des statistiques min/max ou du filtre de Bloom dans les métadonnées ORC.

input_format_orc_reader_time_zone_name

Nom du fuseau horaire du lecteur de lignes ORC ; le fuseau horaire par défaut de ce lecteur est GMT.

input_format_orc_row_batch_size

Taille du lot lors de la lecture des stripes ORC.

input_format_orc_skip_columns_with_unsupported_types_in_schema_inference

Ignorer les colonnes dont le type n’est pas pris en charge lors de l’inférence de schéma pour le format ORC

input_format_orc_use_fast_decoder

Utilise une implémentation plus rapide du décodeur ORC.

input_format_parallel_parsing

Active ou désactive l’analyse parallèle des formats de données tout en préservant l’ordre. Pris en charge uniquement pour les formats TabSeparated (TSV), TSKV, CSV et JSONEachRow. Valeurs possibles :

1 — Activé.
0 — Désactivé.

input_format_parquet_allow_geoparquet_parser

Utilise l’analyseur de colonnes géo pour convertir Array(UInt8) en types Point/Linestring/Polygon/MultiLineString/MultiPolygon

input_format_parquet_allow_missing_columns

Autoriser les colonnes manquantes lors de la lecture de données d’entrée au format Parquet

input_format_parquet_bloom_filter_push_down

Lors de la lecture de fichiers Parquet, ignore des groupes de lignes entiers sur la base des expressions WHERE et du filtre de Bloom dans les métadonnées Parquet.

input_format_parquet_case_insensitive_column_matching

Ignore la casse lors de la correspondance entre les colonnes Parquet et les colonnes CH.

input_format_parquet_enable_json_parsing

Lors de la lecture de fichiers Parquet, interprète les colonnes JSON comme des colonnes JSON ClickHouse.

input_format_parquet_enable_row_group_prefetch

Activer le préchargement des groupes de lignes lors de l’analyse de Parquet. Actuellement, seule l’analyse en mono-thread peut effectuer un préchargement.

input_format_parquet_filter_push_down

Lors de la lecture de fichiers Parquet, ignore les groupes de lignes entiers en fonction des expressions WHERE/PREWHERE et des statistiques min/max des métadonnées Parquet.

input_format_parquet_local_file_min_bytes_for_seek

Nombre minimal d’octets requis pour qu’une lecture locale (fichier) effectue un seek plutôt qu’une lecture avec ignore, dans le format d’entrée Parquet

input_format_parquet_local_time_as_utc

Détermine le type de données utilisé par l’inférence de schéma pour les horodatages Parquet avec isAdjustedToUTC=false. Si true : DateTime64(…, ‘UTC’), si false : DateTime64(…). Aucun des deux comportements n’est entièrement correct, car ClickHouse ne dispose pas d’un type de données pour l’heure locale au sens wall-clock time. Contre-intuitivement, true est probablement l’option la moins incorrecte, car le formatage de l’horodatage ‘UTC’ en String produira une représentation de l’heure locale correcte.

input_format_parquet_max_block_size

Taille maximale de bloc pour le lecteur Parquet.

input_format_parquet_memory_high_watermark

Limite de mémoire approximative du lecteur Parquet v3. Limite le nombre de groupes de lignes ou de colonnes pouvant être lus en parallèle. Lors de la lecture de plusieurs fichiers dans une même requête, la limite porte sur l’utilisation mémoire totale de l’ensemble de ces fichiers.

input_format_parquet_memory_low_watermark

Planifie les préchargements de manière plus agressive si l’utilisation de la mémoire est inférieure au seuil. Peut être utile, par exemple, s’il y a de nombreux petits filtres de Bloom à lire via le réseau.

input_format_parquet_page_filter_push_down

Ignorer les pages à l’aide des valeurs min./max. de l’index de colonne.

input_format_parquet_prefer_block_bytes

Taille moyenne, en octets, des blocs produits par le lecteur Parquet

input_format_parquet_preserve_order

Évite de réordonner les lignes lors de la lecture de fichiers Parquet. Cette option n’est pas recommandée, car l’ordre des lignes n’est généralement pas garanti et d’autres parties du pipeline de requête peuvent aussi le perturber. Utilisez plutôt ORDER BY _row_number.

input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference

Ignorer les colonnes dont les types ne sont pas pris en charge lors de l’inférence de schéma pour le format Parquet

input_format_parquet_use_offset_index

Ajustement mineur de la lecture des pages d’un fichier Parquet lorsqu’aucun filtrage de pages n’est utilisé.

input_format_parquet_verify_checksums

Vérifie les sommes de contrôle des pages à la lecture des fichiers Parquet.

input_format_protobuf_flatten_google_wrappers

Activez les wrappers Google pour les colonnes ordinaires non imbriquées, par exemple google.protobuf.StringValue ‘str’ pour la colonne String ‘str’. Pour les colonnes Nullable, les wrappers vides sont interprétés comme des valeurs par défaut, et les wrappers absents comme des nulls

input_format_protobuf_oneof_presence

Indique quel champ du oneof Protobuf est présent en définissant une valeur enum dans une colonne spéciale

input_format_protobuf_skip_fields_with_unsupported_types_in_schema_inference

Ignorer les champs dont les types ne sont pas pris en charge lors de l’inférence de schéma pour le format Protobuf

input_format_record_errors_file_path

Chemin du fichier utilisé pour enregistrer les erreurs lors de la lecture de formats textuels (CSV, TSV).

input_format_skip_unknown_fields

Active ou désactive l’ignorance des données supplémentaires lors de l’insertion. Lors de l’écriture de données, ClickHouse lève une exception si les données d’entrée contiennent des colonnes qui n’existent pas dans la table cible. Si cette option est activée, ClickHouse n’insère pas les données supplémentaires et ne lève pas d’exception. Formats pris en charge :

JSONEachRow (et autres formats JSON)
BSONEachRow (et autres formats JSON)
TSKV
Tous les formats avec les suffixes WithNames/WithNamesAndTypes
MySQLDump
Native

Valeurs possibles :

0 — Désactivé.
1 — Activé.

input_format_try_infer_dates

Si cette option est activée, ClickHouse essaiera d’inférer le type Date à partir des champs de type chaîne lors de l’inférence de schéma pour les formats texte. Si tous les champs d’une colonne dans les données d’entrée ont été correctement analysés comme des dates, le type résultant sera Date ; si au moins un champ n’a pas été analysé comme une date, le type résultant sera String. Activé par défaut.

input_format_try_infer_datetimes

Si cette option est activée, ClickHouse tentera d’inférer le type DateTime64 à partir de champs texte lors de l’inférence de schéma pour les formats texte. Si tous les champs d’une colonne des données d’entrée sont correctement interprétés comme des valeurs de date et d’heure, le type résultant sera DateTime64 ; si au moins un champ ne peut pas être interprété comme une valeur de date et d’heure, le type résultant sera String. Activé par défaut.

input_format_try_infer_datetimes_only_datetime64

Lorsque input_format_try_infer_datetimes est activé, n’inférer que DateTime64, et non les types DateTime

input_format_try_infer_exponent_floats

Essaie d’inférer les Float en notation exponentielle lors de l’inférence de schéma dans les formats texte (sauf JSON, où les nombres en notation exponentielle sont toujours inférés)

input_format_try_infer_integers

Si cette option est activée, ClickHouse essaiera d’inférer des entiers plutôt que des nombres à virgule flottante lors de l’inférence du schéma pour les formats texte. Si tous les nombres de la colonne dans les données d’entrée sont des entiers, le type résultant sera Int64 ; si au moins un nombre est à virgule flottante, le type résultant sera Float64. Activé par défaut.

input_format_try_infer_variants

Si activé, ClickHouse tentera d’inférer le type Variant lors de l’inférence de schéma pour les formats texte lorsqu’il existe plusieurs types possibles pour les éléments de colonnes ou de tableaux. Valeurs possibles :

0 — Désactivé.
1 — Activé.

input_format_tsv_allow_variable_number_of_columns

Ignorer les colonnes supplémentaires dans l’entrée TSV (si le fichier contient plus de colonnes que prévu) et traiter les champs manquants dans l’entrée TSV comme des valeurs par défaut

input_format_tsv_crlf_end_of_line

Si ce paramètre est défini sur true, la fonction file lira le format TSV avec \r\n au lieu de \n.

input_format_tsv_detect_header

Détecte automatiquement l’en-tête contenant les noms et les types au format TSV

input_format_tsv_empty_as_default

Considère les champs vides dans l’entrée TSV comme des valeurs par défaut.

input_format_tsv_enum_as_number

Traite les valeurs enum insérées dans les formats TSV comme des indices d’enum.

input_format_tsv_skip_first_lines

Ignore le nombre spécifié de lignes au début des données au format TSV

input_format_tsv_skip_trailing_empty_lines

Ignorer les lignes vides en fin de fichier au format TSV

input_format_tsv_use_best_effort_in_schema_inference

Utilise divers ajustements et heuristiques pour inférer le schéma au format TSV

input_format_values_accurate_types_of_literals

Pour le format Values : lors de l’analyse et de l’interprétation des expressions à l’aide du modèle, vérifiez le type réel du littéral afin d’éviter d’éventuels problèmes de dépassement de capacité et de précision.

input_format_values_deduce_templates_of_expressions

Pour le format Values : si le champ n’a pas pu être analysé par le parseur en streaming, exécuter le parseur SQL, déduire le modèle de l’expression SQL, essayer d’analyser toutes les lignes à l’aide de ce modèle, puis interpréter l’expression pour toutes les lignes.

input_format_values_interpret_expressions

Pour le format Values : si le champ n’a pas pu être analysé par le parseur en flux, exécuter le parseur SQL et tenter de l’interpréter comme une expression SQL.

input_format_with_names_use_header

Active ou désactive la vérification de l’ordre des colonnes lors de l’insertion de données. Pour améliorer les performances d’insertion, nous recommandons de désactiver cette vérification si vous êtes sûr que l’ordre des colonnes des données d’entrée est le même que celui de la table cible. Formats pris en charge :

Valeurs possibles :

0 — Désactivé.
1 — Activé.

input_format_with_types_use_header

Contrôle si l’analyseur du format doit vérifier que les types de données des données d’entrée correspondent à ceux de la table cible. Formats pris en charge :

Valeurs possibles :

0 — Désactivé.
1 — Activé.

Dernière modification le 23 juillet 2026

output_format_*Paramètres de format de ClickHouse dans le groupe généré output_format_*.

​input_format_allow_errors_num

​input_format_allow_errors_ratio

​input_format_allow_seeks

​input_format_arrow_allow_missing_columns

​input_format_arrow_case_insensitive_column_matching

​input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference

​input_format_arrow_use_native_reader

​input_format_avro_allow_missing_fields

​input_format_avro_null_as_default

​input_format_binary_decode_types_in_binary_format

​input_format_binary_max_type_complexity

​input_format_binary_read_json_as_string

​input_format_bson_skip_fields_with_unsupported_types_in_schema_inference

​input_format_capn_proto_skip_fields_with_unsupported_types_in_schema_inference

​input_format_column_name_matching_mode

​input_format_connection_handling

​input_format_csv_allow_cr_end_of_line

​input_format_csv_allow_variable_number_of_columns

​input_format_csv_allow_whitespace_or_tab_as_delimiter

​input_format_csv_arrays_as_nested_csv

​input_format_csv_deserialize_separate_columns_into_tuple

​input_format_csv_detect_header

​input_format_csv_empty_as_default

​input_format_csv_enum_as_number

​input_format_csv_missing_nullable_as_empty_string

​input_format_csv_skip_first_lines

​input_format_csv_skip_trailing_empty_lines

​input_format_csv_trim_whitespaces

​input_format_csv_try_infer_numbers_from_strings

​input_format_csv_try_infer_strings_from_quoted_tuples

​input_format_csv_use_best_effort_in_schema_inference

​input_format_csv_use_default_on_bad_values

​input_format_custom_allow_variable_number_of_columns

​input_format_custom_detect_header

​input_format_custom_skip_trailing_empty_lines

​input_format_defaults_for_omitted_fields

​input_format_force_null_for_omitted_fields

​input_format_geojson_unsupported_geometry_handling

​input_format_hive_text_allow_variable_number_of_columns

​input_format_hive_text_collection_items_delimiter

​input_format_hive_text_fields_delimiter

​input_format_hive_text_map_keys_delimiter

​input_format_import_nested_json

​input_format_ipv4_default_on_conversion_error

​input_format_ipv6_default_on_conversion_error

​input_format_json_compact_allow_variable_number_of_columns

​input_format_json_defaults_for_missing_elements_in_named_tuple

​input_format_json_empty_as_default

​input_format_json_ignore_unknown_keys_in_named_tuple

​input_format_json_ignore_unnecessary_fields

​input_format_json_infer_array_of_dynamic_from_array_of_different_types

​input_format_json_infer_incomplete_types_as_strings

​input_format_json_map_as_array_of_tuples

​input_format_json_max_depth

​input_format_json_named_tuples_as_objects

​input_format_json_read_arrays_as_strings

​input_format_json_read_bools_as_numbers

​input_format_json_read_bools_as_strings

​input_format_json_read_numbers_as_strings

​input_format_json_read_objects_as_strings

​input_format_json_throw_on_bad_escape_sequence

​input_format_json_try_infer_named_tuples_from_objects

​input_format_json_try_infer_numbers_from_strings

​input_format_json_use_string_type_for_ambiguous_paths_in_named_tuples_inference_from_objects

​input_format_json_validate_types_from_metadata

​input_format_max_block_size_bytes

​input_format_max_block_wait_ms

​input_format_max_bytes_to_read_for_schema_inference

​input_format_max_rows_to_read_for_schema_inference

​input_format_msgpack_number_of_columns

​input_format_mysql_dump_map_column_names

​input_format_mysql_dump_table_name

​input_format_native_allow_types_conversion

​input_format_native_decode_types_in_binary_format

​input_format_null_as_default

​input_format_orc_allow_missing_columns

​input_format_orc_case_insensitive_column_matching

​input_format_orc_dictionary_as_low_cardinality

​input_format_orc_filter_push_down

​input_format_orc_reader_time_zone_name

input_format_allow_errors_num

input_format_allow_errors_ratio

input_format_allow_seeks

input_format_arrow_allow_missing_columns

input_format_arrow_case_insensitive_column_matching

input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference

input_format_arrow_use_native_reader

input_format_avro_allow_missing_fields

input_format_avro_null_as_default

input_format_binary_decode_types_in_binary_format

input_format_binary_max_type_complexity

input_format_binary_read_json_as_string

input_format_bson_skip_fields_with_unsupported_types_in_schema_inference

input_format_capn_proto_skip_fields_with_unsupported_types_in_schema_inference

input_format_column_name_matching_mode

input_format_connection_handling

input_format_csv_allow_cr_end_of_line

input_format_csv_allow_variable_number_of_columns

input_format_csv_allow_whitespace_or_tab_as_delimiter

input_format_csv_arrays_as_nested_csv

input_format_csv_deserialize_separate_columns_into_tuple

input_format_csv_detect_header

input_format_csv_empty_as_default

input_format_csv_enum_as_number

input_format_csv_missing_nullable_as_empty_string

input_format_csv_skip_first_lines

input_format_csv_skip_trailing_empty_lines

input_format_csv_trim_whitespaces

input_format_csv_try_infer_numbers_from_strings

input_format_csv_try_infer_strings_from_quoted_tuples

input_format_csv_use_best_effort_in_schema_inference

input_format_csv_use_default_on_bad_values

input_format_custom_allow_variable_number_of_columns

input_format_custom_detect_header

input_format_custom_skip_trailing_empty_lines

input_format_defaults_for_omitted_fields

input_format_force_null_for_omitted_fields

input_format_geojson_unsupported_geometry_handling

input_format_hive_text_allow_variable_number_of_columns

input_format_hive_text_collection_items_delimiter

input_format_hive_text_fields_delimiter

input_format_hive_text_map_keys_delimiter

input_format_import_nested_json

input_format_ipv4_default_on_conversion_error

input_format_ipv6_default_on_conversion_error

input_format_json_compact_allow_variable_number_of_columns

input_format_json_defaults_for_missing_elements_in_named_tuple

input_format_json_empty_as_default

input_format_json_ignore_unknown_keys_in_named_tuple

input_format_json_ignore_unnecessary_fields

input_format_json_infer_array_of_dynamic_from_array_of_different_types

input_format_json_infer_incomplete_types_as_strings

input_format_json_map_as_array_of_tuples

input_format_json_max_depth

input_format_json_named_tuples_as_objects

input_format_json_read_arrays_as_strings

input_format_json_read_bools_as_numbers

input_format_json_read_bools_as_strings

input_format_json_read_numbers_as_strings

input_format_json_read_objects_as_strings

input_format_json_throw_on_bad_escape_sequence

input_format_json_try_infer_named_tuples_from_objects

input_format_json_try_infer_numbers_from_strings

input_format_json_use_string_type_for_ambiguous_paths_in_named_tuples_inference_from_objects

input_format_json_validate_types_from_metadata

input_format_max_block_size_bytes

input_format_max_block_wait_ms

input_format_max_bytes_to_read_for_schema_inference

input_format_max_rows_to_read_for_schema_inference

input_format_msgpack_number_of_columns

input_format_mysql_dump_map_column_names

input_format_mysql_dump_table_name

input_format_native_allow_types_conversion

input_format_native_decode_types_in_binary_format

input_format_null_as_default

input_format_orc_allow_missing_columns

input_format_orc_case_insensitive_column_matching

input_format_orc_dictionary_as_low_cardinality

input_format_orc_filter_push_down

input_format_orc_reader_time_zone_name