メインコンテンツへスキップ
メインコンテンツへスキップ

フォーマット設定

これらの設定は source から自動的に生成されています。

allow_special_bool_values_inside_variant

"on"、"off"、"enable"、"disable" などの特殊なテキスト形式の Bool 値から、Variant 型内の Bool 値をパースできるようにします。

bool_false_representation

TSV/CSV/Vertical/Pretty フォーマットで false の bool 値を表すテキスト。

bool_true_representation

TSV/CSV/Vertical/Pretty 各フォーマットで、bool 型の true 値を表現する文字列。

column_names_for_schema_inference

カラム名を持たないフォーマットに対して、スキーマ推論に使用するカラム名のリストです。書式: 'column1,column2,column3,...'

cross_to_inner_join_rewrite

WHERE 句に結合条件がある場合、comma/cross join の代わりに inner join を使用します。値: 0 — 書き換えなし、1 — 可能な場合に comma/cross join を書き換え、2 — すべての comma join を強制的に書き換え、cross — 可能な場合に cross join を書き換え

date_time_64_output_format_cut_trailing_zeros_align_to_groups_of_thousands

datetime64 の値の末尾の 0 を動的に削除して、出力スケールを [0, 3, 6] に調整します。 それぞれ 'seconds'、'milliseconds'、'microseconds' に対応します。

date_time_input_format

日付と時刻のテキスト表現を解析するためのパーサーを選択します。

この設定は日付と時刻の関数には適用されません。

指定可能な値:

  • 'best_effort' — 拡張的な解析を有効にします。

    ClickHouse は基本形式 YYYY-MM-DD HH:MM:SS と、すべての ISO 8601 日付・時刻形式を解析できます。例: '2018-06-08T01:02:03.000Z'

  • 'best_effort_us'best_effort と同様です(違いは parseDateTimeBestEffortUS を参照)。

  • 'basic' — 基本的なパーサーを使用します。

    ClickHouse は基本形式 YYYY-MM-DD HH:MM:SS または YYYY-MM-DD のみを解析できます。例: 2019-08-20 10:18:56 または 2019-08-20

Cloud におけるデフォルト値: 'best_effort'

関連項目:

date_time_output_format

日付と時刻のテキスト表現の出力形式を選択できます。

指定可能な値:

  • simple - シンプルな出力形式。

    ClickHouse は日付と時刻を YYYY-MM-DD hh:mm:ss の形式で出力します。例: 2019-08-20 10:18:56。計算は、データ型にタイムゾーンが指定されている場合はそのタイムゾーン、指定されていない場合はサーバーのタイムゾーンに従って行われます。

  • iso - ISO 出力形式。

    ClickHouse は日付と時刻を ISO 8601YYYY-MM-DDThh:mm:ssZ 形式で出力します。例: 2019-08-20T10:18:56Z。出力は UTC であることに注意してください(Z は UTC を意味します)。

  • unix_timestamp - UNIX タイムスタンプ出力形式。

    ClickHouse は日付と時刻を UNIX タイムスタンプ 形式で出力します。例: 1566285536

関連項目:

date_time_overflow_behavior

DateDate32DateTimeDateTime64 または整数を Date、Date32、DateTime、DateTime64 に変換する際に、その値が結果の型で表現できない場合の動作を定義します。

設定可能な値:

  • ignore — オーバーフローを静かに無視します。結果は未定義です。
  • throw — オーバーフローが発生した場合に例外をスローします。
  • saturate — 結果をサチュレート(飽和)させます。値が対象の型で表現可能な最小値より小さい場合、結果は表現可能な最小値になります。値が対象の型で表現可能な最大値より大きい場合、結果は表現可能な最大値になります。

デフォルト値: ignore

dictionary_use_async_executor

Dictionary ソースの読み取りを複数スレッドで行うパイプラインを実行します。ローカルの ClickHouse ソースを使用する Dictionary でのみサポートされます。

errors_output_format

エラーをテキスト出力する形式。

exact_rows_before_limit

有効にすると、ClickHouse は rows_before_limit_at_least 統計情報に対して正確な値を返しますが、その代償として、limit に到達するまでのデータをすべて読み取る必要があります。

format_avro_schema_registry_url

AvroConfluent 形式用の Confluent Schema Registry の URL。

format_binary_max_array_size

RowBinary 形式における Array の最大許容サイズです。破損したデータによって大量のメモリが割り当てられることを防ぎます。0 を指定した場合は制限がありません。

format_binary_max_object_size

JSON 型の RowBinary フォーマットで、1 つの Object に含めることができるパスの最大数です。破損したデータにより大量のメモリが割り当てられることを防ぎます。0 を指定すると上限はありません。

format_binary_max_string_size

RowBinary 形式における String の最大許容サイズです。破損したデータにより大量のメモリが確保されることを防ぎます。0 を指定した場合は上限がないことを意味します。

format_capn_proto_enum_comparising_mode

ClickHouse の Enum と CapnProto の Enum の対応付け方法

format_capn_proto_max_message_size

1つの CapnProto メッセージの最大サイズ(バイト単位)。不正な形式または破損したデータによる過剰なメモリ割り当てを防ぎます。デフォルトは 1 GiB です。

format_capn_proto_use_autogenerated_schema

format_schema が設定されていない場合、自動生成された CapnProto スキーマを使用します

format_csv_allow_double_quotes

true に設定されている場合は、二重引用符で囲まれた文字列を許可します。

format_csv_allow_single_quotes

true に設定すると、シングルクォートで囲まれた文字列を許可します。

format_csv_delimiter

CSV データ内で区切り文字として扱う文字を指定します。文字列で指定する場合、その文字列は 1 文字である必要があります。

format_csv_null_representation

CSV フォーマットにおける NULL のカスタム表現

format_custom_escaping_rule

フィールドのエスケープ規則(CustomSeparated 形式用)

format_custom_field_delimiter

フィールド同士の区切り文字(CustomSeparated 形式用)

format_custom_result_after_delimiter

結果セットの末尾に付与するサフィックス(CustomSeparated フォーマット用)

format_custom_result_before_delimiter

結果セットの前に付加されるプレフィックス(CustomSeparated 形式用)

format_custom_row_after_delimiter

最後のカラムのフィールドの後に置かれるデリミタ(CustomSeparated フォーマット用)

format_custom_row_before_delimiter

先頭カラムのフィールドの前に付与される区切り文字(CustomSeparated フォーマット用)

format_custom_row_between_delimiter

行と行の間の区切り文字(CustomSeparated 形式用)

format_display_secrets_in_show_and_select

テーブル、データベース、テーブル関数、ディクショナリに対する SHOW および SELECT クエリでシークレットを表示するかどうかを制御します。

シークレットを表示したいユーザーは、 display_secrets_in_show_and_select サーバー設定 を有効にし、 displaySecretsInShowAndSelect 権限も持っている必要があります。

設定可能な値:

  • 0 — 無効。
  • 1 — 有効。

format_json_object_each_row_column_for_object_name

JSONObjectEachRow フォーマットでオブジェクト名を保存および書き込みするために使用されるカラム名。 カラムの型は String である必要があります。値が空の場合、オブジェクト名にはデフォルト名 row_{i} が使用されます。

format_protobuf_use_autogenerated_schema

format_schema が設定されていない場合、自動生成された Protobuf スキーマを使用します

format_regexp

正規表現(Regexp 形式用)

format_regexp_escaping_rule

Regexp フォーマット用のフィールドエスケープ規則

format_regexp_skip_unmatched

正規表現にマッチしない行をスキップします(Regexp 形式)

format_schema

このパラメータは、Cap'n ProtoProtobuf といったスキーマ定義を必要とするフォーマットを使用する場合に指定します。値はフォーマットに依存します。

format_schema_message_name

format_schema で定義されたスキーマ内で、対象となるメッセージの名前を定義します。 レガシーな format_schema 形式(file_name:message_name)との互換性を維持するため、次のように動作します。

  • format_schema_message_name が指定されていない場合、レガシーな format_schema 値の message_name 部分からメッセージ名が推論されます。
  • レガシー形式を使用している際に format_schema_message_name が指定されている場合は、エラーが発生します。

format_schema_source

format_schema のソースを定義します。 指定可能な値:

  • 'file' (デフォルト): format_schemaformat_schemas ディレクトリ内にあるスキーマファイルの名前です。
  • 'string': format_schema はスキーマのリテラルな内容です。
  • 'query': format_schema はスキーマを取得するためのクエリです。

format_schema_source が 'query' に設定されている場合、次の条件が適用されます:

  • クエリはちょうど 1 つの値、つまり 1 行 1 つの文字列カラムのみを返さなければなりません。
  • クエリの結果はスキーマの内容として扱われます。
  • この結果はローカルの format_schemas ディレクトリにキャッシュされます。
  • 次のコマンドを使用してローカルキャッシュをクリアできます: SYSTEM DROP FORMAT SCHEMA CACHE FOR Files
  • 一度キャッシュされると、キャッシュが明示的にクリアされるまで、同一のクエリはスキーマ取得のために再実行されません。
  • ローカルキャッシュファイルに加えて、Protobuf メッセージもメモリ内にキャッシュされます。ローカルキャッシュファイルをクリアした後でも、スキーマを完全にリフレッシュするには SYSTEM DROP FORMAT SCHEMA CACHE [FOR Protobuf] を使用してメモリ内キャッシュをクリアする必要があります。
  • クエリ SYSTEM DROP FORMAT SCHEMA CACHE を実行して、キャッシュファイルと Protobuf メッセージのスキーマの両方のキャッシュを一度にクリアします。

format_template_resultset

結果セットのフォーマット文字列を含むファイルのパス(Template フォーマット用)

format_template_resultset_format

Template 形式における結果セット用の書式文字列

format_template_row

行用のフォーマット文字列(Template フォーマット)を含むファイルへのパス

format_template_row_format

行用のフォーマット文字列(Template フォーマット用)

format_template_rows_between_delimiter

行同士の区切り文字(Template フォーマット用)

format_tsv_null_representation

TSV 形式における NULL のカスタム表現

input_format_allow_errors_num

テキスト形式(CSV、TSV など)からデータを読み取る際に許容されるエラーの最大数を設定します。

デフォルト値は 0 です。

必ず input_format_allow_errors_ratio と組み合わせて使用してください。

行の読み取り中にエラーが発生しても、エラーカウンターがまだ input_format_allow_errors_num より小さい場合、ClickHouse はその行を無視して次の行の処理に進みます。

input_format_allow_errors_numinput_format_allow_errors_ratio の両方が上限を超えた場合、ClickHouse は例外を送出します。

input_format_allow_errors_ratio

テキスト形式(CSV、TSV など)から読み取る際に許可されるエラーの最大割合を設定します。 エラーの割合は 0 から 1 の間の浮動小数点数で指定します。

デフォルト値は 0 です。

必ず input_format_allow_errors_num と併用してください。

行の読み取り中にエラーが発生しても、エラーカウンターがまだ input_format_allow_errors_ratio 未満の場合、ClickHouse はその行を無視して次の行の読み取りを続行します。

input_format_allow_errors_numinput_format_allow_errors_ratio の両方を超えた場合、ClickHouse は例外をスローします。

input_format_allow_seeks

ORC、Parquet、Arrow 形式の入力フォーマットを読み取る際にシークを許可します。

デフォルトでは有効です。

input_format_arrow_allow_missing_columns

Arrow 入力フォーマットの読み取り時に、不足しているカラムを許可します

input_format_arrow_case_insensitive_column_matching

Arrow のカラムと CH のカラムを照合する際に大文字・小文字を無視します。

input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference

Arrow フォーマットのスキーマ推論時にサポートされていない型のカラムをスキップする

input_format_avro_allow_missing_fields

Avro/AvroConfluent フォーマットの場合: スキーマ内にフィールドが見つからない場合、エラーではなくデフォルト値を使用します

input_format_avro_null_as_default

Avro/AvroConfluent フォーマットの場合: null が指定された Nullable ではないカラムに対してデフォルト値を挿入します

input_format_binary_decode_types_in_binary_format

RowBinaryWithNamesAndTypes 入力フォーマットで、型名ではなくデータ型をバイナリ形式で読み取ります

input_format_binary_read_json_as_string

RowBinary 入力フォーマットで、JSON データ型の値を、JSON を表現する String 型の値として読み取ります。

input_format_bson_skip_fields_with_unsupported_types_in_schema_inference

BSON フォーマットのスキーマ推論時にサポートされていない型のフィールドをスキップします。

input_format_capn_proto_skip_fields_with_unsupported_types_in_schema_inference

CapnProto フォーマットのスキーマ推論時に未サポートの型を持つカラムをスキップします

input_format_csv_allow_cr_end_of_line

true に設定すると、行末に他の文字が続かない \r が許可されます

input_format_csv_allow_variable_number_of_columns

CSV 入力では、ファイルに想定より多くのカラムがある場合は余分なカラムを無視し、不足しているフィールドはデフォルト値で補完します

input_format_csv_allow_whitespace_or_tab_as_delimiter

CSV 文字列内でフィールド区切り文字としてスペースおよびタブ (\t) の使用を許可します。

input_format_csv_arrays_as_nested_csv

CSV から Array を読み取る際には、その要素がネストされた CSV 形式でシリアライズされ、そのうえで文字列として格納されているものと想定します。例: "[""Hello"", ""world"", ""42"""" TV""]"。配列を囲む角かっこは省略できます。

input_format_csv_deserialize_separate_columns_into_tuple

true に設定すると、CSV 形式で書き込まれた個々のカラムを Tuple カラムとしてデシリアライズできます。

input_format_csv_detect_header

名前および型を含む CSV 形式のヘッダーを自動検出します

input_format_csv_empty_as_default

CSV 入力の空フィールドをデフォルト値として解釈します。

input_format_csv_enum_as_number

CSV 形式で挿入された enum 値を enum のインデックスとして解釈します

input_format_csv_skip_first_lines

CSV 形式のデータの先頭から、指定した行数をスキップします

input_format_csv_skip_trailing_empty_lines

CSV 形式で末尾の空行をスキップする

input_format_csv_trim_whitespaces

CSV 文字列の先頭および末尾にあるスペースとタブ (\t) 文字をトリミングします

input_format_csv_try_infer_numbers_from_strings

有効にすると、スキーマ推論時に ClickHouse は文字列フィールドから数値型を推論しようとします。 CSV データにクォートされた UInt64 の数値が含まれている場合に有用です。

デフォルトでは無効です。

input_format_csv_try_infer_strings_from_quoted_tuples

入力データ内の引用符で囲まれたタプルを、String 型の値として解釈します。

input_format_csv_use_best_effort_in_schema_inference

CSV 形式のスキーマ推論において、いくつかの調整やヒューリスティック手法を用います

input_format_csv_use_default_on_bad_values

不正な値が原因でCSVフィールドのデシリアライズに失敗した場合に、そのカラムにデフォルト値を使用できるようにします

input_format_custom_allow_variable_number_of_columns

CustomSeparated 入力で、ファイルに想定より多くのカラムが含まれている場合は余分なカラムを無視し、不足しているフィールドはデフォルト値として扱います

input_format_custom_detect_header

CustomSeparated 形式のヘッダー行(名前および型)を自動検出する

input_format_custom_skip_trailing_empty_lines

CustomSeparated 形式で末尾の空行をスキップする

input_format_defaults_for_omitted_fields

INSERT クエリを実行する際、省略された入力カラムの値を、それぞれのカラムのデフォルト値で置き換えます。このオプションは JSONEachRow(およびその他の JSON フォーマット)、CSVTabSeparatedTSKVParquetArrowAvroORCNative フォーマットおよび WithNames/WithNamesAndTypes サフィックスを持つフォーマットに適用されます。

注記

このオプションを有効にすると、拡張されたテーブルメタデータがサーバーからクライアントに送信されます。これによりサーバー側で追加の計算リソースを消費し、パフォーマンスが低下する可能性があります。

指定可能な値:

  • 0 — 無効。
  • 1 — 有効。

input_format_force_null_for_omitted_fields

省略されたフィールドを強制的に NULL で初期化します

input_format_hive_text_allow_variable_number_of_columns

Hive Text 入力で、ファイルに想定より多くのカラムがある場合は余分なカラムを無視し、不足しているフィールドはデフォルト値として扱います

input_format_hive_text_collection_items_delimiter

Hive Text File 内の collection(array または map)内要素の区切り文字

input_format_hive_text_fields_delimiter

Hive Text File 内のフィールド区切り文字

input_format_hive_text_map_keys_delimiter

Hive Text File におけるマップのキー/値ペア同士の区切り文字

input_format_import_nested_json

ネストしたオブジェクトを含む JSON データの挿入を有効または無効にします。

サポートされるフォーマット:

指定可能な値:

  • 0 — 無効。
  • 1 — 有効。

関連項目:

input_format_ipv4_default_on_conversion_error

IPv4 のデシリアライズ時に変換エラーが発生した場合、例外をスローせずデフォルト値を使用します。

デフォルトでは無効です。

input_format_ipv6_default_on_conversion_error

IPv6 のデシリアライズ時に変換エラーが発生しても、例外をスローせずにデフォルト値を使用します。

デフォルトでは無効です。

input_format_json_compact_allow_variable_number_of_columns

JSONCompact/JSONCompactEachRow 入力フォーマットで、行内のカラム数の変動を許可します。 想定よりも多いカラムを持つ行に含まれる余分なカラムは無視し、不足しているカラムにはデフォルト値を使用します。

デフォルトでは無効です。

input_format_json_defaults_for_missing_elements_in_named_tuple

名前付きタプルを解析する際に、JSON オブジェクト内で欠落している要素に対してデフォルト値を挿入します。 この設定は、input_format_json_named_tuples_as_objects が有効な場合にのみ有効です。

デフォルトで有効です。

input_format_json_empty_as_default

有効にすると、JSON 内の空の入力フィールドをデフォルト値で置き換えます。複雑なデフォルト値の式を扱うには、input_format_defaults_for_omitted_fields も有効にする必要があります。

設定可能な値:

  • 0 — 無効。
  • 1 — 有効。

input_format_json_ignore_unknown_keys_in_named_tuple

名前付きタプル用の JSON オブジェクトで、未知のキーを無視します。

デフォルトで有効です。

input_format_json_ignore_unnecessary_fields

不要なフィールドを無視し、解析しません。これを有効にすると、形式が不正であったりフィールドが重複している JSON 文字列に対しても、例外がスローされない場合があります。

input_format_json_infer_array_of_dynamic_from_array_of_different_types

有効にすると、スキーマ推論時に ClickHouse は、異なるデータ型の値を含む JSON 配列に対して Array(Dynamic) 型を使用します。

例:

SET input_format_json_infer_array_of_dynamic_from_array_of_different_types=1;
DESC format(JSONEachRow, '{"a" : [42, "hello", [1, 2, 3]]}');
┌─name─┬─type───────────┐
│ a    │ Array(Dynamic) │
└──────┴────────────────┘
SET input_format_json_infer_array_of_dynamic_from_array_of_different_types=0;
DESC format(JSONEachRow, '{"a" : [42, "hello", [1, 2, 3]]}');
┌─name─┬─type─────────────────────────────────────────────────────────────┐
│ a    │ Tuple(Nullable(Int64), Nullable(String), Array(Nullable(Int64))) │
└──────┴──────────────────────────────────────────────────────────────────┘

既定で有効です。

input_format_json_infer_incomplete_types_as_strings

スキーマ推論中に、サンプルデータ内で Null/{}/[] のみを含む JSON キーに対して String 型を使用できるようにします。 JSON 形式では任意の値を String として読み取ることができるため、未知の型を持つキーに対して String 型を使用することで、 スキーマ推論時に Cannot determine type for column 'column_name' by first 25000 rows of data, most likely this column contains only Nulls or empty Arrays/Maps のようなエラーを回避できます。

例:

SET input_format_json_infer_incomplete_types_as_strings = 1, input_format_json_try_infer_named_tuples_from_objects = 1;
DESCRIBE format(JSONEachRow, '{"obj" : {"a" : [1,2,3], "b" : "hello", "c" : null, "d" : {}, "e" : []}}');
SELECT * FROM format(JSONEachRow, '{"obj" : {"a" : [1,2,3], "b" : "hello", "c" : null, "d" : {}, "e" : []}}');

結果:

┌─name─┬─type───────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ obj  │ Tuple(a Array(Nullable(Int64)), b Nullable(String), c Nullable(String), d Nullable(String), e Array(Nullable(String))) │              │                    │         │                  │                │
└──────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

┌─obj────────────────────────────┐
│ ([1,2,3],'hello',NULL,'{}',[]) │
└────────────────────────────────┘

デフォルトで有効です。

input_format_json_map_as_array_of_tuples

Map 型のカラムを、タプルの JSON 配列としてデシリアライズします。

デフォルトでは無効です。

input_format_json_max_depth

JSON 内のフィールドの最大深度です。これは厳密な上限ではなく、必ずしも厳密に適用されるわけではありません。

input_format_json_named_tuples_as_objects

名前付きタプルのカラムを JSON オブジェクトとして解釈します。

デフォルトで有効になっています。

input_format_json_read_arrays_as_strings

JSON 入力フォーマットで、JSON 配列を文字列として解析できるようにします。

例:

SET input_format_json_read_arrays_as_strings = 1;
SELECT arr, toTypeName(arr), JSONExtractArrayRaw(arr)[3] from format(JSONEachRow, 'arr String', '{"arr" : [1, "Hello", [1,2,3]]}');

結果:

┌─arr───────────────────┬─toTypeName(arr)─┬─arrayElement(JSONExtractArrayRaw(arr), 3)─┐
│ [1, "Hello", [1,2,3]] │ String          │ [1,2,3]                                   │
└───────────────────────┴─────────────────┴───────────────────────────────────────────┘

デフォルトで有効です。

input_format_json_read_bools_as_numbers

JSON 入力フォーマットで、真偽値を数値として解析できるようにします。

デフォルトで有効です。

input_format_json_read_bools_as_strings

JSON 入力形式で、bool 値を文字列として解析できるようにします。

デフォルトで有効です。

input_format_json_read_numbers_as_strings

JSON入力フォーマットで、数値を文字列として解析できるようにします。

デフォルトで有効です。

input_format_json_read_objects_as_strings

JSON 入力フォーマットで、JSON オブジェクトを文字列として解析できるようにします。

例:

SET input_format_json_read_objects_as_strings = 1;
CREATE TABLE test (id UInt64, obj String, date Date) ENGINE=Memory();
INSERT INTO test FORMAT JSONEachRow {"id" : 1, "obj" : {"a" : 1, "b" : "Hello"}, "date" : "2020-01-01"};
SELECT * FROM test;

結果:

┌─id─┬─obj──────────────────────┬───────date─┐
│  1 │ {"a" : 1, "b" : "Hello"} │ 2020-01-01 │
└────┴──────────────────────────┴────────────┘

デフォルトで有効

input_format_json_throw_on_bad_escape_sequence

JSON入力フォーマットで、JSON文字列に不正なエスケープシーケンスが含まれている場合は、例外をスローします。無効にすると、不正なエスケープシーケンスはデータ内でそのまま保持されます。

デフォルトで有効です。

input_format_json_try_infer_named_tuples_from_objects

有効にすると、スキーマ推論時に ClickHouse は JSONオブジェクトから名前付き Tuple を推論しようとします。 生成される名前付き Tuple には、サンプルデータ中の対応するすべての JSONオブジェクトに含まれる全ての要素が含まれます。

例:

SET input_format_json_try_infer_named_tuples_from_objects = 1;
DESC format(JSONEachRow, '{"obj" : {"a" : 42, "b" : "Hello"}}, {"obj" : {"a" : 43, "c" : [1, 2, 3]}}, {"obj" : {"d" : {"e" : 42}}}')

結果:

┌─name─┬─type───────────────────────────────────────────────────────────────────────────────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ obj  │ Tuple(a Nullable(Int64), b Nullable(String), c Array(Nullable(Int64)), d Tuple(e Nullable(Int64))) │              │                    │         │                  │                │
└──────┴────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

デフォルトで有効です。

input_format_json_try_infer_numbers_from_strings

有効にすると、スキーマ推論の際に ClickHouse は文字列フィールドから数値を推論しようとします。 JSON データに引用符で囲まれた UInt64 数値が含まれている場合に有用です。

デフォルトでは無効です。

input_format_json_use_string_type_for_ambiguous_paths_in_named_tuples_inference_from_objects

名前付きタプル推論の際に、JSON オブジェクト内でパスがあいまいな場合は、例外を送出せずに String 型を使用します

input_format_json_validate_types_from_metadata

JSON/JSONCompact/JSONColumnsWithMetadata の入力フォーマットに対して、この設定が 1 に指定されている場合、 入力データ内のメタデータに含まれる型が、テーブル内の対応するカラムの型と照合されます。

デフォルトで有効です。

input_format_max_block_size_bytes

入力フォーマットでのデータのパース中に形成されるブロックのサイズを、バイト単位で制限します。ブロックが ClickHouse 側で形成される行ベースの入力フォーマットで使用されます。 0 を指定すると、バイト数に上限はありません。

input_format_max_bytes_to_read_for_schema_inference

自動スキーマ推論を行う際に読み取るデータ量の上限(バイト単位)。

input_format_max_rows_to_read_for_schema_inference

スキーマの自動推論のために読み取るデータの最大行数です。

input_format_msgpack_number_of_columns

挿入する MsgPack データのカラム数です。データからスキーマを自動推論する際に使用されます。

input_format_mysql_dump_map_column_names

MySQL ダンプ内のテーブルのカラムと ClickHouse テーブルのカラムをカラム名で対応付けます。

input_format_mysql_dump_table_name

MySQL ダンプからデータを読み込む際のテーブル名

input_format_native_allow_types_conversion

Native 入力フォーマットでのデータ型の変換を許可する

input_format_native_decode_types_in_binary_format

Native 入力フォーマットで、型名ではなくデータ型をバイナリ形式で読み込みます。

input_format_null_as_default

フィールドのデータ型がNullableでない場合に、NULL フィールドをデフォルト値で初期化するかどうかを制御します。 カラムの型が Nullable でなく、この設定が無効な場合には、NULL を挿入すると例外が発生します。カラムの型が Nullable の場合、この設定に関係なく、NULL 値はそのまま挿入されます。

この設定は、ほとんどの入力フォーマットに適用されます。

複雑なデフォルト式を使用する場合は、input_format_defaults_for_omitted_fields も有効にする必要があります。

設定可能な値:

  • 0 — Nullable でないカラムに NULL を挿入すると例外が発生します。
  • 1 — NULL フィールドはカラムのデフォルト値で初期化されます。

input_format_orc_allow_missing_columns

ORC 入力フォーマットの読み取り時に、欠落しているカラムを許可する

input_format_orc_case_insensitive_column_matching

ORC カラムを ClickHouse のカラムに一致させる際に、大文字小文字を区別しません。

input_format_orc_dictionary_as_low_cardinality

ORC ファイルを読み込む際、辞書エンコードされた ORC カラムを LowCardinality カラムとして扱います。

input_format_orc_filter_push_down

ORC ファイルを読み込む際、WHERE/PREWHERE 句および ORC メタデータ内の最小/最大の統計情報やブルームフィルターに基づいて、ストライプ全体または行グループをスキップします。

input_format_orc_reader_time_zone_name

ORC 行リーダーで使用するタイムゾーン名です。デフォルトのタイムゾーンは GMT です。

input_format_orc_row_batch_size

ORC ストライプを読み込む際のバッチサイズ。

input_format_orc_skip_columns_with_unsupported_types_in_schema_inference

ORC フォーマットのスキーマ推論を行う際に、サポートされていない型を持つカラムをスキップします

input_format_orc_use_fast_decoder

より高速な ORC デコーダーの実装を使用します。

input_format_parquet_allow_geoparquet_parser

geo カラム用パーサーを使用して、Array(UInt8) を Point/Linestring/Polygon/MultiLineString/MultiPolygon 型に変換します。

input_format_parquet_allow_missing_columns

Parquet 入力フォーマットの読み込み時に、欠落しているカラムを許可する

input_format_parquet_bloom_filter_push_down

Parquet ファイルを読み込む際に、Parquet メタデータ内の WHERE 句とブルームフィルタに基づいて、行グループ全体をスキップします。

input_format_parquet_case_insensitive_column_matching

Parquet のカラムを ClickHouse のカラムに照合する際に、大文字と小文字を区別しません。

input_format_parquet_enable_json_parsing

Parquet ファイルを読み込む際、JSON カラムを ClickHouse の JSON カラムとして解析します。

input_format_parquet_enable_row_group_prefetch

Parquet の解析中に row group のプリフェッチを有効にします。現在は単一スレッドでの解析時にのみプリフェッチが可能です。

input_format_parquet_filter_push_down

Parquet ファイルを読み込む際、Parquet メタデータの min/max 統計情報および WHERE/PREWHERE 式に基づいて、行グループ全体をスキップします。

input_format_parquet_local_file_min_bytes_for_seek

Parquet 入力フォーマットで、無視しながら読み込むのではなくシークを行うために、ローカルファイル読み取りに必要な最小バイト数

input_format_parquet_local_time_as_utc

isAdjustedToUTC=false の Parquet タイムスタンプに対して、スキーマ推論で使用されるデータ型を決定します。true の場合は DateTime64(..., 'UTC')false の場合は DateTime64(...) になります。ClickHouse にはローカルのウォールクロック時刻用のデータ型が存在しないため、どちらの挙動も完全に正しいとは言えません。直感に反して、true のほうがまだ誤りの少ない選択肢と考えられます。というのも、'UTC' タイムスタンプを String としてフォーマットすると、結果として正しいローカル時刻の表現が得られるためです。

input_format_parquet_max_block_size

Parquet リーダーの最大ブロックサイズ。

input_format_parquet_memory_high_watermark

Parquet リーダー v3 用の概算メモリ上限です。並列で読み取ることができる行グループやカラムの数を制限します。1 つのクエリで複数のファイルを読み取る場合、この上限はそれらのファイル全体でのメモリ使用量に対して適用されます。

input_format_parquet_memory_low_watermark

メモリ使用量がこの閾値を下回っている場合、より積極的にプリフェッチを行います。多数の小さなブルームフィルタをネットワーク越しに読み取る必要がある場合などに有用です。

input_format_parquet_page_filter_push_down

カラムの索引に含まれる最小値/最大値を使用してページをスキップします。

input_format_parquet_prefer_block_bytes

Parquet リーダーが出力するブロックの平均バイト数

input_format_parquet_preserve_order

Parquet ファイルから読み込む際に行の並び替えを抑制します。行の順序は一般に保証されず、クエリパイプラインの他の部分で変更される可能性があるため、この設定の使用は推奨されません。代わりに ORDER BY _row_number を使用してください。

input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference

Parquet 形式のスキーマ推論時にサポートされていない型のカラムをスキップします

input_format_parquet_use_native_reader_v3

Parquet リーダー v3 を使用します。

input_format_parquet_use_offset_index

ページフィルタリングを行わない場合の、Parquet ファイルからのページの読み取り方法に対する小さな変更です。

input_format_parquet_verify_checksums

Parquet ファイルを読み込む際にページチェックサムを検証します。

input_format_protobuf_flatten_google_wrappers

通常の非ネストカラムに対して Google のラッパー型を有効にします。例えば、String カラム str に対して google.protobuf.StringValue str を使用します。Nullable カラムについては、空のラッパーはデフォルト値として扱われ、省略されている場合は NULL として扱われます。

input_format_protobuf_oneof_presence

専用の列に enum 値を設定することで、どの protobuf oneof フィールドが見つかったかを示します。

input_format_protobuf_skip_fields_with_unsupported_types_in_schema_inference

Protobuf フォーマットのスキーマ推論時に、サポートされていない型のフィールドをスキップします。

input_format_record_errors_file_path

テキスト形式(CSV、TSV)を読み取る際に発生したエラーを記録するファイルのパス。

input_format_skip_unknown_fields

余分なデータの挿入をスキップするかどうかを有効化/無効化します。

データを書き込む際、入力データに対象テーブルに存在しないカラムが含まれていると、ClickHouse は例外をスローします。スキップが有効な場合、ClickHouse は余分なデータを挿入せず、例外もスローしません。

サポートされるフォーマット:

  • JSONEachRow(およびその他の JSON フォーマット)
  • BSONEachRow(およびその他の JSON フォーマット)
  • TSKV
  • 接尾辞 WithNames/WithNamesAndTypes が付くすべてのフォーマット
  • MySQLDump
  • Native

取りうる値:

  • 0 — 無効。
  • 1 — 有効。

input_format_try_infer_dates

有効化されている場合、ClickHouse はテキスト形式のスキーマ推論時に、文字列フィールドから型 Date を推論しようとします。入力データ内のあるカラムのすべてのフィールドが日付として正常に解釈できた場合、結果の型は Date になり、少なくとも 1 つのフィールドが日付として解釈できなかった場合、結果の型は String になります。

デフォルトで有効です。

input_format_try_infer_datetimes

有効にすると、ClickHouse はテキスト形式のスキーマを推論する際に、文字列フィールドから型 DateTime64 を推論しようとします。入力データのあるカラム内のすべてのフィールドが日時として正常にパースされた場合、結果の型は DateTime64 になり、少なくとも 1 つでも日時としてパースできなかったフィールドがある場合、結果の型は String になります。

デフォルトで有効です。

input_format_try_infer_datetimes_only_datetime64

input_format_try_infer_datetimes が有効な場合は、DateTime 型ではなく DateTime64 型のみを推論対象とします

input_format_try_infer_exponent_floats

テキスト形式でスキーマを推論する際に、指数表記の数値を浮動小数点数として解釈して推論しようとします(ただし、指数表記の数値が常に推論される JSON は除く)。

input_format_try_infer_integers

有効化されている場合、ClickHouse はテキスト形式のスキーマ推論時に、float ではなく整数を推論しようとします。入力データのカラム内のすべての数値が整数であれば、結果の型は Int64 になり、少なくとも 1 つでも float が含まれていれば、結果の型は Float64 になります。

デフォルトで有効です。

input_format_try_infer_variants

有効にすると、ClickHouse はテキストフォーマットのスキーマ推論時に、カラムや配列要素に対して複数の型が考えられる場合に Variant 型を推論しようとします。

指定可能な値:

  • 0 — 無効。
  • 1 — 有効。

input_format_tsv_allow_variable_number_of_columns

TSV 入力で余分なカラム(ファイルのカラム数が想定より多い場合)を無視し、不足しているフィールドはデフォルト値として扱います

input_format_tsv_crlf_end_of_line

true に設定されている場合、file 関数は \n の代わりに \r\n を行末とする TSV 形式としてファイルを読み取ります。

input_format_tsv_detect_header

TSV 形式のヘッダー(名前および型)を自動検出します

input_format_tsv_empty_as_default

TSV 入力の空フィールドをデフォルト値として扱います。

input_format_tsv_enum_as_number

TSV 形式で挿入された Enum の値を、Enum のインデックスとして解釈します。

input_format_tsv_skip_first_lines

TSV 形式のデータの先頭から指定した行数をスキップします

input_format_tsv_skip_trailing_empty_lines

TSV 形式で末尾の空行をスキップする

input_format_tsv_use_best_effort_in_schema_inference

TSV フォーマットでスキーマを推論する際に、いくつかの調整やヒューリスティック手法を用います

input_format_values_accurate_types_of_literals

Values 形式では、Template を使用して式をパースおよび解釈する際に、リテラルの実際の型を検査し、オーバーフローや精度の問題を回避します。

input_format_values_deduce_templates_of_expressions

Values 形式の場合: フィールドがストリーミングパーサーでパースできない場合、SQL パーサーを実行し、SQL 式のテンプレートを推定して、それを用いてすべての行のパースを試みたうえで、すべての行に対して式を解釈します。

input_format_values_interpret_expressions

Values 形式の場合、ストリーミングパーサーでフィールドを解析できなかったときは、SQL パーサーを実行して、そのフィールドを SQL 式として解釈しようとします。

input_format_with_names_use_header

データ挿入時にカラムの順序を検証する処理を有効または無効にします。

挿入パフォーマンスを向上させるため、入力データのカラムの順序が対象テーブルと同一であることが確実な場合は、このチェックを無効にすることを推奨します。

サポートされているフォーマット:

設定可能な値:

  • 0 — 無効。
  • 1 — 有効。

input_format_with_types_use_header

フォーマットパーサーが、入力データのデータ型が対象テーブルのデータ型と一致しているかを検証するかどうかを制御します。

サポートされるフォーマット:

取り得る値:

  • 0 — 無効。
  • 1 — 有効。

insert_distributed_one_random_shard

分散キーがない場合に、Distributed テーブルへの分片へのランダムな挿入を有効または無効にします。

デフォルトでは、複数の分片を持つ Distributed テーブルにデータを挿入する際、分散キーがない場合は ClickHouse サーバーは挿入要求を拒否します。insert_distributed_one_random_shard = 1 のときは挿入が許可され、データはすべての分片に対してランダムに転送されます。

可能な値:

  • 0 — 複数の分片が存在し、かつ分散キーが指定されていない場合、挿入は拒否されます。
  • 1 — 分散キーが指定されていない場合、利用可能なすべての分片に対してランダムに挿入が行われます。

interval_output_format

interval 型のテキスト表現の出力形式を選択できる設定です。

可能な値:

  • kusto - KQL スタイルの出力形式。

    ClickHouse は interval を KQL 形式 で出力します。例えば、toIntervalDay(2)2.00:00:00 のようにフォーマットされます。長さが一定でない interval 型(例: IntervalMonthIntervalYear)については、1 interval あたりの平均秒数が出力に使用される点に注意してください。

  • numeric - 数値の出力形式。

    ClickHouse は interval を、その基礎となる数値表現として出力します。例えば、toIntervalDay(2)2 のようにフォーマットされます。

参照:

into_outfile_create_parent_directories

INTO OUTFILE を使用する際、親ディレクトリが存在しない場合は自動的に作成します。

json_type_escape_dots_in_keys

有効にすると、JSON キー名に含まれるドットが解析時にエスケープされます。

output_format_arrow_compression_method

Arrow 出力フォーマット用の圧縮方式。サポートされているコーデック: lz4_frame、zstd、none(圧縮なし)

output_format_arrow_fixed_string_as_fixed_byte_array

FixedString 型カラムに対して、Binary 型の代わりに Arrow の FIXED_SIZE_BINARY 型を使用します。

output_format_arrow_low_cardinality_as_dictionary

LowCardinality 型を Dictionary Arrow 型として出力するようにします

output_format_arrow_string_as_string

String 型カラムには Binary ではなく Arrow String 型を使用します

output_format_arrow_use_64_bit_indexes_for_dictionary

Arrow 形式における Dictionary の索引には常に 64 ビット整数を使用する

output_format_arrow_use_signed_indexes_for_dictionary

Arrow 形式では Dictionary の索引に符号付き整数を使用する

output_format_avro_codec

出力時に使用する圧縮コーデック。設定可能な値: 'null'、'deflate'、'snappy'、'zstd'。

output_format_avro_rows_in_file

(ストレージが許容する場合の)ファイルあたりの最大行数

output_format_avro_string_column_pattern

Avro 形式の場合: AVRO の string 型として扱う String カラムを選択するための正規表現。

output_format_avro_sync_interval

同期の間隔(バイト単位)。

output_format_binary_encode_types_in_binary_format

RowBinaryWithNamesAndTypes 出力形式において、型名ではなくデータ型をバイナリ形式で出力します

output_format_binary_write_json_as_string

RowBinary 出力フォーマットで、JSON データ型の値を JSON 形式の String 値として書き出します。

output_format_bson_string_as_string

String カラムに対しては、Binary ではなく BSON の String 型を使用します。

output_format_csv_crlf_end_of_line

true に設定すると、CSV 形式の行末は \n ではなく \r\n になります。

output_format_csv_serialize_tuple_into_separate_columns

true に設定すると、CSV 形式の Tuple は個別のカラムとしてシリアライズされます(つまり、Tuple 内のネスト構造は失われます)。

output_format_decimal_trailing_zeros

Decimal 型の値を出力する際に、末尾のゼロも出力します。例えば、1.23 ではなく 1.230000 を出力します。

デフォルトでは無効です。

output_format_json_array_of_rows

この設定を有効にすると、JSONEachRow フォーマットですべての行を 1 つの JSON 配列として出力できます。

設定可能な値:

  • 1 — ClickHouse はすべての行を 1 つの配列として出力し、各行は JSONEachRow フォーマットになります。
  • 0 — ClickHouse は各行を個別に JSONEachRow フォーマットで出力します。

設定を有効にしたクエリの例

クエリ:

SET output_format_json_array_of_rows = 1;
SELECT number FROM numbers(3) FORMAT JSONEachRow;

結果:

[
{"number":"0"},
{"number":"1"},
{"number":"2"}
]

設定を無効にした場合のクエリの例

クエリ:

SET output_format_json_array_of_rows = 0;
SELECT number FROM numbers(3) FORMAT JSONEachRow;

結果:

{"number":"0"}
{"number":"1"}
{"number":"2"}

output_format_json_escape_forward_slashes

JSON 出力形式において、文字列出力中のスラッシュ / をエスケープするかどうかを制御します。これは JavaScript との互換性を目的としています。常にエスケープされるバックスラッシュ \ と混同しないでください。

デフォルトで有効です。

output_format_json_map_as_array_of_tuples

map 型カラムをタプルの JSON 配列としてシリアライズします。

デフォルトでは無効です。

output_format_json_named_tuples_as_objects

名前付きタプル型のカラムを JSON オブジェクトとしてシリアライズします。

デフォルトで有効です。

output_format_json_pretty_print

この設定は、JSON 形式で出力する際に、data 配列内で Tuple、Map、Array などのネストされた構造がどのように表示されるかを決定します。

たとえば、次のような出力ではなく、

"data":
[
  {
    "tuple": {"a":1,"b":2,"c":3},
    "array": [1,2,3],
    "map": {"a":1,"b":2,"c":3}
  }
],

出力は次のような形式になります:

"data":
[
    {
        "tuple": {
            "a": 1,
            "b": 2,
            "c": 3
        },
        "array": [
            1,
            2,
            3
        ],
        "map": {
            "a": 1,
            "b": 2,
            "c": 3
        }
    }
],

デフォルトで有効です。

output_format_json_quote_64bit_floats

64 ビット float 型の値が JSON* 形式で出力される際に、値をクオートするかどうかを制御します。

デフォルトでは無効です。

output_format_json_quote_64bit_integers

64 ビット以上の整数UInt64Int128 など)が JSON 形式で出力される際に、引用符で囲むかどうかを制御します。 このような整数はデフォルトで引用符で囲まれます。この動作は多くの JavaScript 実装と互換性があります。

設定可能な値:

  • 0 — 整数を引用符なしで出力します。
  • 1 — 整数を引用符で囲んで出力します。

output_format_json_quote_decimals

JSON 出力フォーマットにおける Decimal 型の値のクォートを制御します。

デフォルトでは無効です。

output_format_json_quote_denormals

JSON 出力フォーマットで +nan-nan+inf-inf の出力を有効にします。

可能な値:

  • 0 — 無効。
  • 1 — 有効。

次のようなテーブル account_orders を考えます:

┌─id─┬─name───┬─duration─┬─period─┬─area─┐
│  1 │ Andrew │       20 │      0 │  400 │
│  2 │ John   │       40 │      0 │    0 │
│  3 │ Bob    │       15 │      0 │ -100 │
└────┴────────┴──────────┴────────┴──────┘

output_format_json_quote_denormals = 0 の場合、クエリは出力として null 値を返します。

SELECT area/period FROM account_orders FORMAT JSON;
{
        "meta":
        [
                {
                        "name": "divide(area, period)",
                        "type": "Float64"
                }
        ],

        "data":
        [
                {
                        "divide(area, period)": null
                },
                {
                        "divide(area, period)": null
                },
                {
                        "divide(area, period)": null
                }
        ],

        "rows": 3,

        "statistics":
        {
                "elapsed": 0.003648093,
                "rows_read": 3,
                "bytes_read": 24
        }
}

output_format_json_quote_denormals = 1 の場合、クエリの結果は次のようになります。

{
        "meta":
        [
                {
                        "name": "divide(area, period)",
                        "type": "Float64"
                }
        ],

        "data":
        [
                {
                        "divide(area, period)": "inf"
                },
                {
                        "divide(area, period)": "-nan"
                },
                {
                        "divide(area, period)": "-inf"
                }
        ],

        "rows": 3,

        "statistics":
        {
                "elapsed": 0.000070241,
                "rows_read": 3,
                "bytes_read": 24
        }
}

output_format_json_skip_null_value_in_named_tuples

named tuple カラムを JSON オブジェクトとしてシリアライズする際に、値が null のキーと値のペアをスキップします。これは、output_format_json_named_tuples_as_objects が true の場合にのみ有効です。

output_format_json_validate_utf8

JSON 出力フォーマットでの UTF-8 シーケンスの検証を制御します。JSON/JSONCompact/JSONColumnsWithMetadata 形式には影響せず、これらでは常に UTF-8 検証が行われます。

デフォルトでは無効です。

output_format_markdown_escape_special_characters

有効にすると、Markdown 内の特殊文字をエスケープします。

CommonMark では、次の特殊文字がエスケープできる文字として定義されています。

! " # $ % & ' ( ) * + , - . / : ; < = > ? @ [ \ ] ^ _ ` { | } ~

Possible values:

  • 0 — 無効
  • 1 — 有効

output_format_msgpack_uuid_representation

MsgPack 形式における UUID の出力表現を指定します。

output_format_native_encode_types_in_binary_format

Native 出力形式で、型名ではなくデータ型をバイナリ形式で出力します

output_format_native_use_flattened_dynamic_and_json_serialization

JSON カラムと Dynamic カラムのデータを、フラット化された形式(すべての型やパスを個別のサブカラムとして扱う形式)で書き出します。

output_format_native_write_json_as_string

JSON カラムのデータを、デフォルトのネイティブな JSON シリアル化ではなく、JSON 文字列を格納した String カラムとして書き込みます。

output_format_orc_compression_block_size

ORC 形式の出力における圧縮ブロックのサイズ(バイト単位)。

output_format_orc_compression_method

ORC 形式の出力に使用する圧縮方式。サポートされているコーデック: lz4、snappy、zlib、zstd、none(非圧縮)

output_format_orc_dictionary_key_size_threshold

ORC出力フォーマットにおける文字列カラムについて、非NULL行の総数に対する異なる値の数の割合がこの値を超える場合は、辞書エンコーディングを無効にします。それ以外の場合は辞書エンコーディングを有効にします。

output_format_orc_row_index_stride

ORC 出力フォーマットにおける行インデックスストライドの目標値。

output_format_orc_string_as_string

String カラムに対しては Binary ではなく ORC の String 型を使用します

output_format_orc_writer_time_zone_name

ORC writer が使用するタイムゾーン名です。デフォルトは GMT です。

output_format_parquet_batch_size

この行数ごとにページサイズを確認します。平均サイズが数 KB を超えるカラムがある場合は、この値を小さくすることを検討してください。

output_format_parquet_bloom_filter_bits_per_value

Parquet の Bloom filter において、各ユニーク値に対して使用するビット数のおおよその値です。推定される偽陽性率は次のとおりです:

  • 6 bits - 10%
  • 10.5 bits - 1%
  • 16.9 bits - 0.1%
  • 26.4 bits - 0.01%
  • 41 bits - 0.001%

output_format_parquet_bloom_filter_flush_threshold_bytes

Parquet ファイル内の Bloom フィルタをどこに配置するかを指定します。Bloom フィルタはおおよそこのサイズのグループ単位で書き込まれます。具体的には:

  • 0 の場合、各行グループの Bloom フィルタは、その行グループの直後に書き込まれます。
    • すべての Bloom フィルタの合計サイズより大きい場合、すべての行グループの Bloom フィルタをメモリ上で集約し、ファイルの終端付近にまとめて書き込みます。
    • それ以外の場合、Bloom フィルタはメモリ上で集約され、その合計サイズがこの値を超えたタイミングで書き込まれます。

output_format_parquet_compliant_nested_types

parquet ファイルのスキーマにおいて、リスト要素には 'item' ではなく 'element' という名前を用います。これは Arrow ライブラリ実装に由来する歴史的な仕様です。一般的には互換性が向上しますが、一部の古いバージョンの Arrow では互換性が損なわれる場合があります。

output_format_parquet_compression_method

Parquet 出力形式の圧縮方式。サポートされる圧縮コーデック: snappy, lz4, brotli, zstd, gzip, none(非圧縮)

output_format_parquet_data_page_size

圧縮前のページサイズ(バイト単位)。

output_format_parquet_date_as_uint16

Date の値を、32 ビットの Parquet DATE 型(読み取り時は Date32)に変換する代わりに、プレーンな 16 ビット整数(読み取り時は UInt16)として書き込みます。

output_format_parquet_datetime_as_uint32

DateTime の値を、ミリ秒に変換して書き込む(読み込み時は DateTime64(3))のではなく、生の unix タイムスタンプ(読み込み時は UInt32)として書き込みます。

output_format_parquet_enum_as_byte_array

enum を、Parquet の物理型 BYTE_ARRAY および論理型 ENUM として書き出します。

output_format_parquet_fixed_string_as_fixed_byte_array

FixedString 型カラムに対して、Binary ではなく Parquet の FIXED_LEN_BYTE_ARRAY 型を使用します。

output_format_parquet_geometadata

geo カラムに関する情報を Parquet メタデータに書き込み、これらのカラムを WKB 形式でエンコードできるようにします。

output_format_parquet_max_dictionary_size

Dictionary のサイズがこのバイト数を超えた場合、Dictionary を使用しないエンコーディングに切り替えます。Dictionary エンコーディングを無効にするには 0 を設定します。

output_format_parquet_parallel_encoding

Parquet データのエンコードを複数スレッドで実行します。output_format_parquet_use_custom_encoder が必要です。

output_format_parquet_row_group_size

行数単位でのターゲット行グループサイズ。

output_format_parquet_row_group_size_bytes

圧縮前の行グループの目標サイズ(バイト単位)。

output_format_parquet_string_as_string

String型カラムに対して、Parquet の Binary 型ではなく String 型を使用します。

output_format_parquet_use_custom_encoder

より高速な Parquet エンコーダ実装を使用します。

output_format_parquet_version

出力フォーマットで使用する Parquet のバージョン。サポートされているバージョンは 1.0、2.4、2.6、および 2.latest(デフォルト)です。

output_format_parquet_write_bloom_filter

Parquet ファイルに Bloom フィルターを書き込みます。output_format_parquet_use_custom_encoder = true が必要です。

output_format_parquet_write_checksums

Parquet ページヘッダーに CRC32 チェックサムを書き込みます。

output_format_parquet_write_page_index

Parquet ファイルに、カラムインデックスおよびオフセットインデックス(つまり、読み取り時のフィルタープッシュダウンに使用できる各データページに関する統計情報)を書き込みます。

output_format_pretty_color

Pretty フォーマットで ANSI エスケープシーケンスを使用します。0 - 無効、1 - 有効、'auto' - 端末上で実行されている場合に有効。

テーブルの行数が多い場合に、フッターにカラム名を表示します。

設定可能な値:

クエリ:

SELECT *, toTypeName(*) FROM (SELECT * FROM system.numbers LIMIT 1000);

結果:

      ┌─number─┬─toTypeName(number)─┐
   1. │      0 │ UInt64             │
   2. │      1 │ UInt64             │
   3. │      2 │ UInt64             │
   ...
 999. │    998 │ UInt64             │
1000. │    999 │ UInt64             │
      └─number─┴─toTypeName(number)─┘

output_format_pretty_display_footer_column_names 設定が有効な場合に、フッターにカラム名を表示するための最低行数を指定します。

output_format_pretty_fallback_to_vertical

有効にすると、テーブルの列数が多く行数が少ない場合、Pretty 形式は Vertical 形式と同様の形式で出力されます。 この動作を詳細に調整するには、output_format_pretty_fallback_to_vertical_max_rows_per_chunk および output_format_pretty_fallback_to_vertical_min_table_width を参照してください。

output_format_pretty_fallback_to_vertical_max_rows_per_chunk

output_format_pretty_fallback_to_vertical(参照)による Vertical フォーマットへのフォールバックは、chunk 内のレコード数が指定した値以下の場合にのみ有効になります。

output_format_pretty_fallback_to_vertical_min_columns

Vertical 形式へのフォールバック(output_format_pretty_fallback_to_vertical を参照)は、カラム数が指定した値を超える場合にのみ有効になります。

output_format_pretty_fallback_to_vertical_min_table_width

フォールバック先の Vertical フォーマット(output_format_pretty_fallback_to_vertical を参照)は、テーブル内のカラム長の合計がこの設定値以上である場合、または少なくとも 1 つの値に改行文字が含まれている場合にのみ有効になります。

output_format_pretty_glue_chunks

Pretty 形式でレンダリングされるデータが複数の chunk に分かれて到着し、遅延があった場合でも、次の chunk のカラム幅が前の chunk と同じであれば、ANSI エスケープシーケンスを使用してカーソルを前の行に戻し、前の chunk のフッターを書き換えて、新しい chunk のデータでその続きとして出力します。これにより、結果がより視覚的に見やすくなります。

0 - 無効、1 - 有効、'auto' - 端末の場合に有効。

output_format_pretty_grid_charset

グリッドの枠線を出力する際に使用する文字セットです。利用可能な文字セットは ASCII と UTF-8(デフォルト)です。

output_format_pretty_highlight_digit_groups

有効で、出力先がターミナルの場合、数千・数百万などの桁区切りに対応する各数字を下線で強調表示します。

output_format_pretty_highlight_trailing_spaces

この設定が有効で、出力先がターミナルの場合、行末の空白を灰色の下線付きで強調表示します。

output_format_pretty_max_column_name_width_cut_to

カラム名が長すぎる場合、この長さまで切り詰めます。 カラム名の長さが、output_format_pretty_max_column_name_width_cut_tooutput_format_pretty_max_column_name_width_min_chars_to_cut を加えた値より長い場合に切り詰められます。

output_format_pretty_max_column_name_width_min_chars_to_cut

カラム名が長すぎる場合に切り詰める最小文字数。
output_format_pretty_max_column_name_width_cut_tooutput_format_pretty_max_column_name_width_min_chars_to_cut を加えた長さより長いカラム名は切り詰められます。

output_format_pretty_max_column_pad_width

Pretty フォーマットで、カラム内のすべての値をパディングする際の最大幅を指定します。

output_format_pretty_max_rows

Pretty 形式の出力で表示される行数の上限。

output_format_pretty_max_value_width

Pretty 形式で表示する値の最大幅。これを超えた部分は切り詰められます。 値 0 は切り詰めないことを意味します。

output_format_pretty_max_value_width_apply_for_single_value

ブロック内に複数の値がある場合にのみ、値を切り詰めます(output_format_pretty_max_value_width 設定を参照)。単一の値しかない場合は、その値を完全に出力します。これは SHOW CREATE TABLE クエリで有用です。

output_format_pretty_multiline_fields

有効にすると、Pretty フォーマットは複数行のフィールドをテーブルセル内に整形して表示し、テーブルの枠組みが保持されます。 無効にすると、それらはそのまま表示されるためテーブルのレイアウトが崩れる可能性がありますが、その代わり複数行の値をコピー&ペーストしやすくなるという利点があります。

output_format_pretty_named_tuples_as_json

Pretty フォーマットで、名前付きタプルを整形済みの JSON オブジェクトとして出力するかどうかを制御します。

output_format_pretty_row_numbers

Pretty 出力形式で、各行の前に行番号を追加します

output_format_pretty_single_large_number_tip_threshold

ブロックが 0 を除くこの値を超える単一の数値だけで構成されている場合、テーブルの右側にその数値を読みやすい形式にしたヒントを表示します。

output_format_pretty_squash_consecutive_ms

次のブロックを指定されたミリ秒数まで待ち、それを直前のブロックにまとめてから書き込みます。 これにより、小さすぎるブロックが頻繁に出力されることを防ぎつつ、データをストリーミング的に表示できます。

output_format_pretty_squash_max_wait_ms

前回の出力から指定したミリ秒数を超えて経過した場合、保留中のブロックを Pretty 系フォーマットで出力します。

output_format_protobuf_nullables_with_google_wrappers

Google wrappers を使用して Nullable カラムをシリアライズする場合、デフォルト値は空の wrapper としてシリアライズされます。オフにすると、デフォルト値と NULL 値はシリアライズされません

output_format_schema

自動生成されたスキーマが Cap'n Proto または Protobuf 形式で保存されるファイルへのパス。

output_format_sql_insert_include_column_names

INSERT クエリにカラム名を含める

output_format_sql_insert_max_batch_size

1 回の INSERT ステートメントで挿入できる最大行数。

output_format_sql_insert_quote_names

カラム名をバッククオート(`)で囲みます

output_format_sql_insert_table_name

出力される INSERT クエリで使用されるテーブル名

output_format_sql_insert_use_replace

INSERT 文の代わりに REPLACE 文を使用する

output_format_tsv_crlf_end_of_line

true に設定すると、TSV 形式の行末が \n ではなく \r\n になります。

output_format_values_escape_quote_with_quote

true の場合は ' を '' でエスケープし、それ以外の場合は \' で引用します

output_format_write_statistics

読み取った行数、バイト数、経過時間に関する統計を、適切な出力フォーマットで出力します。

既定で有効です

precise_float_parsing

より高精度(だが低速)の浮動小数点数パースアルゴリズムを優先的に使用します

regexp_dict_allow_hyperscan

regexp_tree Dictionary で Hyperscan ライブラリの使用を許可します。

regexp_dict_flag_case_insensitive

regexp_tree Dictionary に対して大文字と小文字を区別しないマッチングを行います。個々の正規表現内で (?i) および (?-i) を使って上書きできます。

regexp_dict_flag_dotall

regexp_tree Dictionary において、'.' を改行文字にもマッチさせることを許可します。

rows_before_aggregation

有効にすると、ClickHouse は rows_before_aggregation 統計値の正確な値を提供します。これは、集約処理の前に読み取られた行数を表します。

schema_inference_hints

スキーマを持たないフォーマットのスキーマ推論で、ヒントとして使用するカラム名とデータ型のリスト。

例:

クエリ:

desc format(JSONEachRow, '{"x" : 1, "y" : "String", "z" : "0.0.0.0" }') settings schema_inference_hints='x UInt8, z IPv4';

結果:

x   UInt8
y   Nullable(String)
z   IPv4
注記

schema_inference_hints が正しくフォーマットされていない場合、あるいはタイプミスや誤ったデータ型などが含まれている場合、schema_inference_hints 全体の設定が無視されます。

schema_inference_make_columns_nullable

スキーマ推論において推論された型を Nullable にするかどうかを制御します。 取り得る値:

  • 0 - 推論された型は決して Nullable になりません(この場合の null 値の扱いは input_format_null_as_default で制御します)。
  • 1 - すべての推論された型が Nullable になります。
  • 2 または auto - スキーマ推論の途中で解析されるサンプルでそのカラムに NULL が含まれている場合、またはファイルメタデータにカラムの Null 許容性に関する情報が含まれている場合にのみ、推論された型は Nullable になります。
  • 3 - フォーマットがファイルメタデータとして Null 許容性情報を持つ場合(例: Parquet)は、推論された型の Null 許容性はそのメタデータと一致し、それ以外の場合(例: CSV)は常に Nullable になります。

schema_inference_make_json_columns_nullable

スキーマ推論時に、推論された JSON 型を Nullable にするかどうかを制御します。 この設定を schema_inference_make_columns_nullable と併せて有効にすると、推論された JSON 型は Nullable になります。

schema_inference_mode

スキーマ推論モード。default — すべてのファイルが同じスキーマを持つと見なして、任意のファイルからスキーマを推論する。union — ファイルごとに異なるスキーマを持つ可能性があり、最終的なスキーマはすべてのファイルのスキーマの和集合になる。

show_create_query_identifier_quoting_rule

SHOW CREATE クエリにおける識別子の引用ルールを設定します

show_create_query_identifier_quoting_style

SHOW CREATE クエリで使用する識別子のクオートスタイルを設定します

type_json_skip_duplicated_paths

有効にすると、JSON オブジェクトを JSON 型にパースする際に、重複したパスは無視され、例外が発生するのではなく最初のものだけが挿入されます。

type_json_skip_invalid_typed_paths

有効にすると、型付きパスを持つ JSON 型カラム内で、宣言された型に強制変換できない値を持つフィールドはエラーをスローせずにスキップされます。スキップされたフィールドは存在しないものとして扱われ、型付きパスの定義に基づいてデフォルト値または NULL 値が使用されます。

この設定は、特定のパスに型が宣言されている JSON 型カラム(例: JSON(a Int64, b String))にのみ適用されます。通常の型付きカラムへ挿入する際の JSONEachRow などの通常の JSON 入力フォーマットには適用されません。

可能な値:

  • 0 — 無効(型の不一致があるとエラーをスローする)。
  • 1 — 有効(型の不一致があるフィールドをスキップする)。

validate_experimental_and_suspicious_types_inside_nested_types

Array/Map/Tuple などのネストされた型内での実験的な型および疑わしい型の使用を検証します