メインコンテンツまでスキップ
メインコンテンツまでスキップ

参照

サポートされているデータソース​

名称ロゴ種類ステータス説明
Apache Kafkaストリーミング安定ClickPipes を設定し、Apache Kafka から ClickHouse Cloud にストリーミングデータを取り込み始めます。
Confluent Cloudストリーミング安定Confluent と ClickHouse Cloud の強力な統合を通じて、その力を解き放ちます。
Redpanda
Redpanda logo
ストリーミング安定ClickPipes を設定し、Redpanda から ClickHouse Cloud にストリーミングデータを取り込み始めます。
AWS MSKストリーミング安定ClickPipes を設定し、AWS MSK から ClickHouse Cloud にストリーミングデータを取り込み始めます。
Azure Event Hubsストリーミング安定ClickPipes を設定し、Azure Event Hubs から ClickHouse Cloud にストリーミングデータを取り込み始めます。
WarpStreamストリーミング安定ClickPipes を設定し、WarpStream から ClickHouse Cloud にストリーミングデータを取り込み始めます。

サポートされているデータ形式​

サポートされている形式は次の通りです:

サポートされているデータ型​

標準​

現在 ClickPipes でサポートされている標準の ClickHouse データ型は次の通りです:

  • 基本的な数値型 - [U]Int8/16/32/64, Float32/64, および BFloat16
  • 大きな整数型 - [U]Int128/256
  • 小数タイプ
  • ブーリアン
  • 文字列
  • 固定文字列
  • 日付、Date32
  • 日時、DateTime64（UTC タイムゾーンのみ）
  • Enum8/Enum16
  • UUID
  • IPv4
  • IPv6
  • すべての ClickHouse LowCardinality 型
  • 上記の任意の型を使用したキーと値のある Map（Nullable を含む）
  • 上記の任意の型を使用した要素を持つ Tuple および Array（Nullable を含む、1 階層の深さのみ）
  • SimpleAggregateFunction 型（AggregatingMergeTree または SummingMergeTree の宛先用）

Avro​

サポートされている Avro データ型​

ClickPipes は、すべての Avro プリミティブおよび複合型、time-millis、time-micros、local-timestamp-millis、local_timestamp-micros、および duration を除くすべての Avro ロジカル型をサポートしています。Avro record 型は Tuple に変換され、array 型は Array に、map は Map（文字列キーのみ）に変換されます。一般的に、ここにリストされた変換 here が利用可能です。ClickPipes は型変換時にオーバーフローや精度損失をチェックしないため、Avro 数値型については厳密な型一致を使用することをお勧めします。 また、すべての Avro 型は String カラムに挿入でき、その場合は有効な JSON 文字列として表されます。

Nullable 型と Avro ユニオン​

Avro の Nullable 型は、(T, null) または (null, T) のユニオンスキーマを使用して定義され、ここで T は基本 Avro 型です。スキーマ推論の際には、そのようなユニオンは ClickHouse の「Nullable」カラムにマッピングされます。ClickHouse は Nullable(Array)、Nullable(Map)、または Nullable(Tuple) 型をサポートしないため注意してください。これらの型の Avro null ユニオンは、非 nullable バージョンにマッピングされます（Avro Record 型は ClickHouse の名前付き Tuple にマッピングされます）。これらの型の Avro "null" は次のように挿入されます:

  • null の Avro 配列用の空の Array
  • null の Avro Map 用の空の Map
  • null の Avro Record 用のすべてのデフォルト/ゼロ値を持つ名前付き Tuple

Variant 型のサポート​

ClickPipes は次の条件下で Variant 型をサポートしています:

  • Avro ユニオン。Avro スキーマに複数の非 nullable 型を持つユニオンが含まれている場合、ClickPipes は適切な Variant 型を推測します。それ以外の場合、Avro データに対する Variant 型はサポートされていません。
  • JSON フィールド。ソースデータストリームの任意の JSON フィールドに対して手動で Variant 型（例: Variant(String, Int64, DateTime)）を指定できます。ClickPipes が正しい Variant サブタイプを判断する方法のため、Variant 定義には整数または日時型が1つだけ使用可能です - 例: Variant(Int64, UInt32) はサポートされていません。

JSON 型のサポート​

ClickPipes は次の状況で JSON 型をサポートします:

  • Avro Record 型は常に JSON カラムに割り当てることができます。
  • Avro String および Bytes 型は、カラムが実際に JSON String オブジェクトを保持している場合に JSON カラムに割り当てることができます。
  • 常に JSON オブジェクトである JSON フィールドは JSON 宛先カラムに割り当てることができます。

目的の JSON 型への宛先カラムは手動で変更する必要があることに注意してください。固定またはスキップされたパスを含みます。

Kafka バーチャルカラム​

次のバーチャルカラムは Kafka 互換のストリーミングデータソースに対してサポートされています。新しい宛先テーブルを作成する際には、Add Column ボタンを使用してバーチャルカラムを追加できます。

名称説明推奨データ型
_keyKafka メッセージキーString
_timestampKafka タイムスタンプ（ミリ秒精度）DateTime64(3)
_partitionKafka パーティションInt32
_offsetKafka オフセットInt64
_topicKafka トピックString
_header_keysレコードヘッダのキーの並列配列Array(String)
_header_valuesレコードヘッダのヘッダの並列配列Array(String)
_raw_message完全な Kafka メッセージString

_raw_message カラムは JSON データにのみ推奨されることに注意してください。JSON 文字列のみが必要なユースケースでは（ClickHouse の JsonExtract* 関数を使用して下流のマテリアライズドビューを補充する場合など）、すべての「非バーチャル」カラムを削除すると ClickPipes のパフォーマンスが向上する可能性があります。