メインコンテンツへスキップ
メインコンテンツへスキップ

ClickHouse Cloud との連携

はじめに​

ClickPipes は、さまざまなデータソースからのデータを、数回のクリック操作だけで取り込むことができるマネージド型の統合プラットフォームです。最も要求の厳しいワークロード向けに設計されており、ClickPipes の堅牢でスケーラブルなアーキテクチャは、一貫したパフォーマンスと高い信頼性を実現します。ClickPipes は、長期的なストリーミング用途や一度きりのデータ読み込みジョブのいずれにも利用できます。

ClickPipes スタック

サポートされているデータソース​

名前ロゴ種類ステータス説明
Apache Kafkaストリーミング安定版ClickPipes を設定し、Apache Kafka から ClickHouse Cloud へストリーミングデータの取り込みを開始します。
Confluent Cloudストリーミング安定版Confluent と ClickHouse Cloud の直接統合により、両者を連携させた強力な機能を活用できます。
Redpanda
Redpanda ロゴ
ストリーミング安定版ClickPipes を設定し、Redpanda から ClickHouse Cloud へストリーミングデータの取り込みを開始します。
AWS MSKストリーミング安定版ClickPipes を設定し、AWS MSK から ClickHouse Cloud へストリーミングデータの取り込みを開始します。
Azure Event Hubsストリーミング安定版ClickPipes を設定し、Azure Event Hubs から ClickHouse Cloud へストリーミングデータの取り込みを開始します。詳細なガイダンスについては Azure Event Hubs FAQ を参照してください。
WarpStreamストリーミング安定版ClickPipes を設定し、WarpStream から ClickHouse Cloud へストリーミングデータの取り込みを開始します。
Amazon S3オブジェクトストレージ安定版ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
Google Cloud Storageオブジェクトストレージ安定版ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
DigitalOcean Spacesオブジェクトストレージ安定版ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
Azure Blob Storageオブジェクトストレージ安定版ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
Amazon Kinesisストリーミング安定版ClickPipes を設定し、Amazon Kinesis から ClickHouse Cloud へストリーミングデータの取り込みを開始します。
PostgresDBMS安定版ClickPipes を設定し、Postgres から ClickHouse Cloud へのデータ取り込みを開始します。
MySQLDBMSパブリックベータClickPipes を設定し、MySQL から ClickHouse Cloud へのデータ取り込みを開始します。
MongoDBDBMSプライベートプレビューClickPipes を設定し、MongoDB から ClickHouse Cloud へのデータ取り込みを開始します。

ClickPipes には今後さらに多くのコネクタが追加される予定です。詳細についてはこちらからお問い合わせください。

静的 IP の一覧​

以下は、ClickPipes が外部サービスへ接続する際に使用する静的 NAT IP アドレス（リージョン別）です。トラフィックを許可するには、該当インスタンスのリージョンの IP アドレスを IP 許可リストに追加してください。

すべてのサービスにおいて、ClickPipes のトラフィックはサービスの配置場所に基づいて、デフォルトリージョンから発信されます:

  • eu-central-1: EU リージョン内のすべてのサービス（GCP および Azure の EU リージョンを含みます）
  • us-east-1: AWS us-east-1 内のすべてのサービス
  • ap-south-1: 2025 年 6 月 25 日以降に作成された AWS ap-south-1 内のサービス（それ以前に作成されたサービスは us-east-2 の IP を使用します）
  • ap-northeast-2: 2025 年 11 月 14 日以降に作成された AWS ap-northeast-2 内のサービス（それ以前に作成されたサービスは us-east-2 の IP を使用します）
  • ap-southeast-2: 2025 年 6 月 25 日以降に作成された AWS ap-southeast-2 内のサービス（それ以前に作成されたサービスは us-east-2 の IP を使用します）
  • us-west-2: 2025 年 6 月 24 日以降に作成された AWS us-west-2 内のサービス（それ以前に作成されたサービスは us-east-2 の IP を使用します）
  • us-east-2: 上記で明示的に列挙されていないその他すべてのリージョン（GCP および Azure の US リージョンを含みます）
AWS regionIP Addresses
eu-central-118.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
us-east-154.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150
us-east-23.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
ap-south-1 (from 25 Jun 2025)13.203.140.189, 13.232.213.12, 13.235.145.208, 35.154.167.40, 65.0.39.245, 65.1.225.89
ap-northeast-2 (from 14 Nov 2025)3.38.68.69, 52.78.68.128, 13.209.152.13, 3.38.24.84, 3.37.159.31, 3.34.25.104
ap-southeast-2 (from 25 Jun 2025)3.106.48.103, 52.62.168.142, 13.55.113.162, 3.24.61.148, 54.206.77.184, 54.79.253.17
us-west-2 (from 24 Jun 2025)52.42.100.5, 44.242.47.162, 52.40.44.52, 44.227.206.163, 44.246.241.23, 35.83.230.19

ClickHouse の設定を調整する​

ClickHouse Cloud は、ほとんどのユースケースに対して妥当なデフォルト設定を提供します。しかし、ClickPipes の宛先テーブル向けに一部の ClickHouse 設定を調整する必要がある場合は、ClickPipes 専用のロールを作成する方法が最も柔軟です。 手順：

  1. カスタムロール CREATE ROLE my_clickpipes_role SETTINGS ... を作成します。詳細は CREATE ROLE の構文を参照してください。
  2. ClickPipes を作成する際の Details and Settings ステップで、そのカスタムロールを ClickPipes ユーザーに追加します。
カスタムロールを割り当てる

ClickPipes の詳細設定を調整する​

ClickPipes には、ほとんどのユースケースの要件を満たす妥当なデフォルト設定が用意されています。ユースケースによっては、さらに細かい調整が必要な場合、次の設定を変更できます。

Object Storage ClickPipes​

SettingDefault valueDescription
Max insert bytes10GB1 回の挿入バッチで処理するバイト数。
Max file count1001 回の挿入バッチで処理するファイルの最大数。
Max threadsauto(3)ファイル処理に使用する同時実行スレッド数の上限。
Max insert threads1ファイル処理に使用する同時実行挿入スレッド数の上限。
Min insert block size bytes1GBテーブルに挿入できるブロック内の最小バイト数。
Max download threads4同時実行ダウンロードスレッド数の上限。
Object storage polling interval30sデータを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。
Parallel distributed insert select2Parallel distributed insert select の設定。
Parallel view processingfalse逐次処理ではなく並行してアタッチされたビューへプッシュを行うかどうか。
Use cluster functiontrue複数ノード間でファイルを並列処理するかどうか。
ClickPipes の詳細設定

Streaming ClickPipes​

SettingDefault valueDescription
Streaming max insert wait time5sデータを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。

エラー報告​

ClickPipes は、インジェスト処理中に発生したエラーの種類に応じて、エラーを 2 つの別々のテーブルに保存します。

レコードエラー​

ClickPipes は、宛先テーブルと同じ場所に、<destination_table_name>_clickpipes_error という接尾辞を持つテーブルを作成します。このテーブルには、不正なデータやスキーマ不一致に起因するあらゆるエラーが格納され、無効なメッセージ全体が含まれます。このテーブルには 7 日間の TTL が設定されています。

システムエラー​

ClickPipe の動作に関連するエラーは、system.clickpipes_log テーブルに保存されます。このテーブルには、ClickPipe の動作に関連するその他すべてのエラー（ネットワーク、接続性など）が保存されます。このテーブルには 7 日間の TTL が設定されています。

ClickPipes がデータソースに 15 分間接続できない場合、または宛先に 1 時間接続できない場合、ClickPipes インスタンスは停止し、（ClickHouse インスタンスが利用可能である限り）適切なメッセージをシステムエラー用テーブルに保存します。

FAQ​

  • ClickPipes とは何ですか？

    ClickPipes は、ユーザーが自分の ClickHouse サービスを外部データソース、特に Kafka に簡単に接続できるようにする ClickHouse Cloud の機能です。ClickPipes for Kafka を使用すると、ユーザーはデータを継続的に ClickHouse に取り込み、リアルタイム分析に利用できる状態にしておくことができます。

  • ClickPipes はデータ変換をサポートしますか？

    はい、ClickPipes は DDL 定義を公開することで基本的なデータ変換をサポートします。その後、ClickHouse Cloud サービス内の宛先テーブルにデータが読み込まれる際に、ClickHouse のマテリアライズドビュー機能を活用して、さらに高度な変換を適用できます。

  • ClickPipes の利用には追加コストがかかりますか？

    ClickPipes の課金は、取り込まれたデータ量とコンピュートリソースの 2 つの指標に基づいて行われます。料金の詳細はこのページで確認できます。ClickPipes を実行すると、他の取り込みワークロードと同様に、宛先の ClickHouse Cloud サービス側でコンピュートおよびストレージの間接的なコストが発生する可能性もあります。

  • ClickPipes for Kafka 利用時のエラーや障害はどのように扱われますか？

    はい、ClickPipes for Kafka は、ネットワーク障害や接続障害など、Kafka からデータを取得する際のあらゆる運用上の問題による障害が発生した場合に、自動的にリトライを行います。不正な形式のデータや無効なスキーマが発生した場合、ClickPipes はそのレコードを record_error テーブルに保存し、処理を継続します。