メインコンテンツまでスキップ
メインコンテンツまでスキップ

Parquet

InputOutputAlias

説明

Apache Parquet は、Hadoop エコシステムで広く使用されている列指向ストレージ形式です。ClickHouse は、この形式の読み取りおよび書き込み操作をサポートしています。

データ型の一致

以下の表は、サポートされているデータ型と、それらが ClickHouse の データ型 にどのように一致するかを示しています。

Parquet データ型 (INSERT)ClickHouse データ型Parquet データ型 (SELECT)
BOOLBoolBOOL
UINT8, BOOLUInt8UINT8
INT8Int8/Enum8INT8
UINT16UInt16UINT16
INT16Int16/Enum16INT16
UINT32UInt32UINT32
INT32Int32INT32
UINT64UInt64UINT64
INT64Int64INT64
FLOATFloat32FLOAT
DOUBLEFloat64DOUBLE
DATEDate32DATE
TIME (ms)DateTimeUINT32
TIMESTAMP, TIME (us, ns)DateTime64TIMESTAMP
STRING, BINARYStringBINARY
STRING, BINARY, FIXED_LENGTH_BYTE_ARRAYFixedStringFIXED_LENGTH_BYTE_ARRAY
DECIMALDecimalDECIMAL
LISTArrayLIST
STRUCTTupleSTRUCT
MAPMapMAP
UINT32IPv4UINT32
FIXED_LENGTH_BYTE_ARRAY, BINARYIPv6FIXED_LENGTH_BYTE_ARRAY
FIXED_LENGTH_BYTE_ARRAY, BINARYInt128/UInt128/Int256/UInt256FIXED_LENGTH_BYTE_ARRAY

配列は入れ子にでき、引数として Nullable 型の値を持つことができます。Tuple および Map 型も入れ子にできます。

サポートされていない Parquet データ型は次のとおりです:

  • FIXED_SIZE_BINARY
  • JSON
  • UUID
  • ENUM

ClickHouse テーブルカラムのデータ型は、挿入される Parquet データの対応するフィールドとは異なる場合があります。データを挿入する際、ClickHouse は上の表に従ってデータ型を解釈し、その後 キャスト を行って、ClickHouse テーブルカラムに設定されたデータ型にデータを変換します。

使用例

データの挿入と選択

次のコマンドを使用して、ファイルから ClickHouse テーブルに Parquet データを挿入できます:

次のコマンドを使用して、ClickHouse テーブルからデータを選択し、Parquet 形式のファイルに保存できます:

Hadoop とデータを交換するには、HDFS テーブルエンジン を使用できます。

フォーマット設定

設定説明デフォルト
input_format_parquet_case_insensitive_column_matchingParquet カラムと CH カラムを照合する際に、大文字小文字を無視します。0
input_format_parquet_preserve_orderParquet ファイルから読み取る際に、行の順序を変更しないようにします。通常、これにより遅くなります。0
input_format_parquet_filter_push_downParquet ファイルを読み取る際に、WHERE/PREWHERE 式および Parquet メタデータの最小/最大統計情報に基づいて全行グループをスキップします。1
input_format_parquet_bloom_filter_push_downParquet ファイルを読み取る際に、WHERE 式および Parquet メタデータのブルームフィルタに基づいて全行グループをスキップします。0
input_format_parquet_use_native_readerParquet ファイルを読み取る際に、Arrow リーダーの代わりにネイティブリーダーを使用します。0
input_format_parquet_allow_missing_columnsParquet 入力形式読み取り時に、欠落しているカラムを許可します。1
input_format_parquet_local_file_min_bytes_for_seekLocal read (file) においてファイルをシークするために必要な最小バイト数です。これにより、Parquet 入力形式で読み取りと無視を行うことができます。8192
input_format_parquet_enable_row_group_prefetchParquet パース時に行グループのプリフェッチを有効にします。現在、単一スレッドのパースのみがプリフェッチを行うことができます。1
input_format_parquet_skip_columns_with_unsupported_types_in_schema_inferenceスキーマ推論時に、サポートされていない型のカラムをスキップします。0
input_format_parquet_max_block_sizeParquet リーダーの最大ブロックサイズです。65409
input_format_parquet_prefer_block_bytesParquet リーダーによって出力される平均ブロックバイト数です。16744704
output_format_parquet_row_group_size行のターゲット Row Group サイズです。1000000
output_format_parquet_row_group_size_bytes圧縮前のバイトでのターゲット Row Group サイズです。536870912
output_format_parquet_string_as_string文字列カラムのために Parquet String 型を使用します。1
output_format_parquet_fixed_string_as_fixed_byte_array固定文字列カラムのために Parquet FIXED_LENGTH_BYTE_ARRAY 型を使用します。1
output_format_parquet_version出力フォーマット用の Parquet フォーマットバージョンです。サポートされているバージョン:1.0、2.4、2.6、および2.latest (デフォルト)。2.latest
output_format_parquet_compression_methodParquet 出力フォーマットの圧縮方法です。サポートされているコーデック:snappy、lz4、brotli、zstd、gzip、none (非圧縮)。zstd
output_format_parquet_compliant_nested_typesParquet ファイルスキーマで、リスト要素の名称に 'element' を使用します。これは Arrow ライブラリの実装の履歴的な遺物です。一般的には互換性が向上しますが、古いバージョンの Arrow の一部では例外があります。1
output_format_parquet_use_custom_encoderより高速な Parquet エンコーダー実装を使用します。1
output_format_parquet_parallel_encoding複数スレッドで Parquet エンコーディングを行います。output_format_parquet_use_custom_encoder が必要です。1
output_format_parquet_data_page_size圧縮前のバイト単位のターゲットページサイズです。1048576
output_format_parquet_batch_sizeこの行数ごとにページサイズを確認します。平均値のサイズが数KBを超えるカラムがある場合は減少を検討してください。1024
output_format_parquet_write_page_indexParquet ファイルにページインデックスを書く機能を追加します。1
input_format_parquet_import_nested廃止された設定で、何もしません。0