Arrow

Input	Output	Alias
✔	✔

説明

Apache Arrow は、2つの組み込み列指向ストレージ形式を提供します。 ClickHouse は、これらの形式の読み書き操作をサポートしています。 Arrow は Apache Arrow の「ファイルモード」形式で、メモリ内のランダムアクセス用に設計されています。

以下の表は、サポートされているデータ型とそれらが ClickHouse のデータ型にどのように対応しているかを示しています INSERT および SELECT クエリにおいて。

Arrow データ型 (`INSERT`)	ClickHouse データ型	Arrow データ型 (`SELECT`)
`BOOL`	Bool	`BOOL`
`UINT8`, `BOOL`	UInt8	`UINT8`
`INT8`	Int8/Enum8	`INT8`
`UINT16`	UInt16	`UINT16`
`INT16`	Int16/Enum16	`INT16`
`UINT32`	UInt32	`UINT32`
`INT32`	Int32	`INT32`
`UINT64`	UInt64	`UINT64`
`INT64`	Int64	`INT64`
`FLOAT`, `HALF_FLOAT`	Float32	`FLOAT32`
`DOUBLE`	Float64	`FLOAT64`
`DATE32`	Date32	`UINT16`
`DATE64`	DateTime	`UINT32`
`TIMESTAMP`, `TIME32`, `TIME64`	DateTime64	`TIMESTAMP`
`STRING`, `BINARY`	String	`BINARY`
`STRING`, `BINARY`, `FIXED_SIZE_BINARY`	FixedString	`FIXED_SIZE_BINARY`
`DECIMAL`	Decimal	`DECIMAL`
`DECIMAL256`	Decimal256	`DECIMAL256`
`LIST`	Array	`LIST`
`STRUCT`	Tuple	`STRUCT`
`MAP`	Map	`MAP`
`UINT32`	IPv4	`UINT32`
`FIXED_SIZE_BINARY`, `BINARY`	IPv6	`FIXED_SIZE_BINARY`
`FIXED_SIZE_BINARY`, `BINARY`	Int128/UInt128/Int256/UInt256	`FIXED_SIZE_BINARY`

配列はネストでき、引数として Nullable 型の値を持つことができます。 Tuple および Map 型もネスト可能です。

DICTIONARY 型は INSERT クエリでサポートされ、 SELECT クエリ用には output_format_arrow_low_cardinality_as_dictionary 設定があり、これにより LowCardinality 型を DICTIONARY 型として出力できます。

サポートされていない Arrow データ型:

ClickHouse テーブルカラムのデータ型は対応する Arrow データフィールドと一致する必要はありません。データを挿入する際、ClickHouse は上記の表に従ってデータ型を解釈し、次にキャストして ClickHouse テーブルカラムに設定されたデータ型に変換します。

次のコマンドを使用して、ファイルから ClickHouse テーブルに Arrow データを挿入できます。

$ cat filename.arrow | clickhouse-client --query="INSERT INTO some_table FORMAT Arrow"

次のコマンドを使用して、ClickHouse テーブルからデータを選択し、Arrow 形式のファイルに保存できます。

$ clickhouse-client --query="SELECT * FROM {some_table} FORMAT Arrow" > {filename.arrow}

設定	説明	デフォルト
`input_format_arrow_allow_missing_columns`	Arrow 入力形式を読み込む際に欠落したカラムを許可する	`1`
`input_format_arrow_case_insensitive_column_matching`	Arrow カラムと CH カラムを一致させる際に大文字と小文字を無視します。	`0`
`input_format_arrow_import_nested`	廃止された設定で、何もしません。	`0`
`input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference`	フォーマット Arrow のスキーマ推論中にサポートされていない型のカラムをスキップする	`0`
`output_format_arrow_compression_method`	Arrow 出力形式の圧縮方法。サポートされているコーデック: lz4_frame, zstd, none (非圧縮)	`lz4_frame`
`output_format_arrow_fixed_string_as_fixed_byte_array`	FixedString カラムに対して Binary ではなく Arrow FIXED_SIZE_BINARY 型を使用します。	`1`
`output_format_arrow_low_cardinality_as_dictionary`	LowCardinality 型を Dictionary Arrow 型として出力することを有効にします	`0`
`output_format_arrow_string_as_string`	String カラムに対して Binary の代わりに Arrow String 型を使用します	`1`
`output_format_arrow_use_64_bit_indexes_for_dictionary`	Arrow 形式の辞書インデックスに常に 64 ビット整数を使用します	`0`
`output_format_arrow_use_signed_indexes_for_dictionary`	Arrow 形式の辞書インデックスに符号付き整数を使用します	`1`