Arrow
| 入力 | 出力 | エイリアス |
|---|---|---|
| ✔ | ✔ |
説明
Apache Arrow は、2つの組み込みの列指向ストレージフォーマットを提供しています。 ClickHouse は、これらのフォーマットの読み取りおよび書き込み操作をサポートしています。
Arrow は Apache Arrow の "ファイルモード" フォーマットです。 メモリ内のランダムアクセス用に設計されています。
データ型の対応
以下の表は、サポートされているデータ型と、それらが INSERT および SELECT クエリにおける ClickHouse の データ型 にどのように対応しているかを示しています。
Arrow データ型 (INSERT) | ClickHouse データ型 | Arrow データ型 (SELECT) |
|---|---|---|
BOOL | Bool | BOOL |
UINT8, BOOL | UInt8 | UINT8 |
INT8 | Int8/Enum8 | INT8 |
UINT16 | UInt16 | UINT16 |
INT16 | Int16/Enum16 | INT16 |
UINT32 | UInt32 | UINT32 |
INT32 | Int32 | INT32 |
UINT64 | UInt64 | UINT64 |
INT64 | Int64 | INT64 |
FLOAT, HALF_FLOAT | Float32 | FLOAT32 |
DOUBLE | Float64 | FLOAT64 |
DATE32 | Date32 | UINT16 |
DATE64 | DateTime | UINT32 |
TIMESTAMP, TIME32, TIME64 | DateTime64 | TIMESTAMP |
STRING, BINARY | String | BINARY |
STRING, BINARY, FIXED_SIZE_BINARY | FixedString | FIXED_SIZE_BINARY |
DECIMAL | Decimal | DECIMAL |
DECIMAL256 | Decimal256 | DECIMAL256 |
LIST | Array | LIST |
STRUCT | Tuple | STRUCT |
MAP | Map | MAP |
UINT32 | IPv4 | UINT32 |
FIXED_SIZE_BINARY, BINARY | IPv6 | FIXED_SIZE_BINARY |
FIXED_SIZE_BINARY, BINARY | Int128/UInt128/Int256/UInt256 | FIXED_SIZE_BINARY |
配列はネスト可能で、Nullable 型の値を引数として持つことができます。 Tuple および Map 型もネスト可能です。
DICTIONARY 型は INSERT クエリでサポートされており、SELECT クエリでは LowCardinality 型を DICTIONARY 型として出力する output_format_arrow_low_cardinality_as_dictionary 設定があります。
サポートされていない Arrow データ型:
FIXED_SIZE_BINARYJSONUUIDENUM.
ClickHouse テーブルのカラムのデータ型は、対応する Arrow データフィールドに一致する必要はありません。 データを挿入する際、ClickHouse は上記の表に従ってデータ型を解釈し、その後に cast を使用して ClickHouse テーブルカラムに設定されたデータ型にデータを変換します。
使用例
データの挿入
以下のコマンドを使用して、ファイルから ClickHouse テーブルに Arrow データを挿入できます。
データの選択
以下のコマンドを使用して、ClickHouse テーブルからデータを選択し、Arrow フォーマットでファイルに保存できます。
フォーマット設定
| 設定 | 説明 | デフォルト |
|---|---|---|
input_format_arrow_allow_missing_columns | Arrow 入力フォーマットを読み込む際に列が欠けているのを許可する | 1 |
input_format_arrow_case_insensitive_column_matching | Arrow 列と CH 列が一致する際にケースを無視する。 | 0 |
input_format_arrow_import_nested | 廃止された設定で、何もしない。 | 0 |
input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference | Arrow フォーマットのスキーマ推測時にサポートされていない型の列をスキップする | 0 |
output_format_arrow_compression_method | Arrow 出力フォーマットの圧縮方式。 サポートされているコーデック：lz4_frame、zstd、none（非圧縮） | lz4_frame |
output_format_arrow_fixed_string_as_fixed_byte_array | FixedString カラムのために Arrow FIXED_SIZE_BINARY 型を Binary の代わりに使う。 | 1 |
output_format_arrow_low_cardinality_as_dictionary | LowCardinality 型を Dictionary Arrow 型として出力することを有効にする | 0 |
output_format_arrow_string_as_string | String カラムのために Arrow String 型を Binary の代わりに使う | 1 |
output_format_arrow_use_64_bit_indexes_for_dictionary | Arrow フォーマットで辞書インデックスに常に 64 ビット整数を使用する | 0 |
output_format_arrow_use_signed_indexes_for_dictionary | Arrow フォーマットで辞書インデックスに符号付き整数を使用する | 1 |