ClickHouseにおけるAvro、Arrow、およびORCデータの操作

Apacheは、人気のある Avro、 Arrow、および Orc を含む分析環境で積極的に使用される複数のデータ形式をリリースしました。ClickHouseは、これらの形式を使用してデータのインポートとエクスポートをサポートしています。

Avro形式でのインポートとエクスポート

ClickHouseは、Hadoopシステムで広く使用されている Apache Avro データファイルの読み書きをサポートしています。

avroファイルからインポートするには、INSERTステートメントで Avro 形式を使用します：

INSERT INTO sometable
FROM INFILE 'data.avro'
FORMAT Avro

ファイル() 関数を使用することで、実際にデータをインポートする前にAvroファイルを探索することもできます：

SELECT path, hits
FROM file('data.avro', Avro)
ORDER BY hits DESC
LIMIT 5;

┌─path────────────┬──hits─┐
│ Amy_Poehler     │ 62732 │
│ Adam_Goldberg   │ 42338 │
│ Aaron_Spelling  │ 25128 │
│ Absence_seizure │ 18152 │
│ Ammon_Bundy     │ 11890 │
└─────────────────┴───────┘

Avroファイルにエクスポートするには：

SELECT * FROM sometable
INTO OUTFILE 'export.avro'
FORMAT Avro;

AvroとClickHouseデータ型

Avroファイルのインポートまたはエクスポート時にはデータ型マッチングを考慮してください。Avroファイルからデータを読み込む際には明示的な型キャストを使用して変換してください：

SELECT
    date,
    toDate(date)
FROM file('data.avro', Avro)
LIMIT 3;

┌──date─┬─toDate(date)─┐
│ 16556 │   2015-05-01 │
│ 16556 │   2015-05-01 │
│ 16556 │   2015-05-01 │
└───────┴──────────────┘

Kafka内のAvroメッセージ

KafkaメッセージがAvro形式を使用する場合、ClickHouseは AvroConfluent 形式と Kafka エンジンを使用してそのようなストリームを読み取ることができます：

CREATE TABLE some_topic_stream
(
    field1 UInt32,
    field2 String
)
ENGINE = Kafka() SETTINGS
kafka_broker_list = 'localhost',
kafka_topic_list = 'some_topic',
kafka_group_name = 'some_group',
kafka_format = 'AvroConfluent';

Arrow形式での作業

もう一つの列指向形式は Apache Arrow で、ClickHouseではインポートおよびエクスポートをサポートしています。Arrowファイルからデータをインポートするには、Arrow 形式を使用します：

INSERT INTO sometable
FROM INFILE 'data.arrow'
FORMAT Arrow

Arrowファイルへのエクスポートも同様に機能します：

SELECT * FROM sometable
INTO OUTFILE 'export.arrow'
FORMAT Arrow

また、データ型マッチングを確認して、手動で変換する必要があるかどうかを確認してください。

Arrowデータのストリーミング

ArrowStream 形式を使用してArrowストリーミング（メモリ内プロセッシングに使用される）で作業することができます。ClickHouseはArrowストリームの読み書きが可能です。

ClickHouseがどのようにArrowデータをストリーミングできるかを示すために、以下のpythonスクリプトに出力をパイプします（これはArrowストリーミング形式の入力ストリームを読み取り、結果をPandasテーブルとして出力します）：

import sys, pyarrow as pa

with pa.ipc.open_stream(sys.stdin.buffer) as reader:
  print(reader.read_pandas())

次に、ClickHouseからデータをストリーミングし、その出力をスクリプトにパイプします：

clickhouse-client -q "SELECT path, hits FROM some_data LIMIT 3 FORMAT ArrowStream" | python3 arrow.py

                           path  hits
0       b'Akiba_Hebrew_Academy'   241
1           b'Aegithina_tiphia'    34
2  b'1971-72_Utah_Stars_season'     1

ClickHouseも同じArrowStream形式を使用してArrowストリームを読み取ることができます：

arrow-stream | clickhouse-client -q "INSERT INTO sometable FORMAT ArrowStream"

arrow-streamをArrowストリーミングデータの可能なソースとして使用しました。

ORCデータのインポートとエクスポート

Apache ORC 形式は、通常はHadoop向けに使用される列指向ストレージ形式です。ClickHouseは、ORC形式を使用して Orcデータのインポートとエクスポートをサポートしています：

SELECT *
FROM sometable
INTO OUTFILE 'data.orc'
FORMAT ORC;

INSERT INTO sometable
FROM INFILE 'data.orc'
FORMAT ORC;

また、エクスポートとインポートを調整するために、データ型マッチングと追加設定を確認してください。

さらなる情報

ClickHouseは、さまざまなシナリオやプラットフォームをカバーするために、テキストとバイナリの多くの形式をサポートしています。以下の記事で、さらに多くの形式とそれらとの作業方法を探検してください：

また、clickhouse-localを確認してください。これは、ClickHouseサーバーを必要とせずにローカル/リモートファイルで作業するためのポータブルなフル機能ツールです。

Avro形式でのインポートとエクスポート​

AvroとClickHouseデータ型​

Kafka内のAvroメッセージ​

Arrow形式での作業​

Arrowデータのストリーミング​

ORCデータのインポートとエクスポート​

さらなる情報​