ClickHouse Cloudとの統合
はじめに
ClickPipes は、さまざまなソースからのデータを簡単にインジェストできる管理された統合プラットフォームです。最も要求の厳しいワークロード向けに設計されたClickPipesの堅牢でスケーラブルなアーキテクチャは、一貫したパフォーマンスと信頼性を確保します。ClickPipesは、長期的なストリーミングニーズや一回限りのデータロードジョブに使用できます。
サポートされているデータソース
名前 | ロゴ | タイプ | ステータス | 説明 |
---|---|---|---|---|
Apache Kafka | ストリーミング | 安定 | ClickPipesを設定し、Apache KafkaからClickHouse Cloudへのストリーミングデータをインジェスト開始します。 | |
Confluent Cloud | ストリーミング | 安定 | ConfluentとClickHouse Cloudの統合による強力な機能を解放します。 | |
Redpanda | ストリーミング | 安定 | ClickPipesを設定し、RedpandaからClickHouse Cloudへのストリーミングデータをインジェスト開始します。 | |
AWS MSK | ストリーミング | 安定 | ClickPipesを設定し、AWS MSKからClickHouse Cloudへのストリーミングデータをインジェスト開始します。 | |
Azure Event Hubs | ストリーミング | 安定 | ClickPipesを設定し、Azure Event HubsからClickHouse Cloudへのストリーミングデータをインジェスト開始します。 | |
WarpStream | ストリーミング | 安定 | ClickPipesを設定し、WarpStreamからClickHouse Cloudへのストリーミングデータをインジェスト開始します。 | |
Amazon S3 | オブジェクトストレージ | 安定 | ClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。 | |
Google Cloud Storage | オブジェクトストレージ | 安定 | ClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。 | |
DigitalOcean Spaces | オブジェクトストレージ | 安定 | ClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。 | |
Azure Blob Storage | オブジェクトストレージ | プライベートベータ | ClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。 | |
Amazon Kinesis | ストリーミング | 安定 | ClickPipesを設定し、Amazon KinesisからClickHouse Cloudへのストリーミングデータをインジェスト開始します。 | |
Postgres | DBMS | パブリックベータ | ClickPipesを設定し、PostgresからClickHouse Cloudへのデータをインジェスト開始します。 | |
MySQL | DBMS | プライベートベータ | ClickPipesを設定し、MySQLからClickHouse Cloudへのデータをインジェスト開始します。 |
より多くのコネクタがClickPipesに追加されます。詳細については、お問い合せください。
スタティックIPのリスト
以下は、ClickPipesが外部サービスに接続するために使用する静的NAT IP(地域別に分けたもの)です。関連するインスタンスの地域のIPをIP許可リストに追加して、トラフィックを許可してください。 インスタンスの地域がここにリストされていない場合は、デフォルトの地域にフォールバックします:
- eu-central-1 EU地域用
- us-east-1
us-east-1
のインスタンス用 - us-east-2 その他すべての地域用
ClickHouse Cloud地域 | IPアドレス |
---|---|
eu-central-1 | 18.195.233.217 , 3.127.86.90 , 35.157.23.2 , 18.197.167.47 , 3.122.25.29 , 52.28.148.40 |
us-east-2 | 3.131.130.196 , 3.23.172.68 , 3.20.208.150 , 3.132.20.192 , 18.119.76.110 , 3.134.185.180 |
us-east-1 | 54.82.38.199 , 3.90.133.29 , 52.5.177.8 , 3.227.227.145 , 3.216.6.184 , 54.84.202.92 , 3.131.130.196 , 3.23.172.68 , 3.20.208.150 |
ClickHouse設定の調整
ClickHouse Cloudは、ほとんどのユースケースに対して合理的なデフォルトを提供します。ただし、ClickPipesの宛先テーブルのためにいくつかのClickHouse設定を調整する必要がある場合は、ClickPipes用の専用ロールが最も柔軟なソリューションです。 手順:
- カスタムロール
CREATE ROLE my_clickpipes_role SETTINGS ...
を作成します。CREATE ROLE 構文の詳細を参照してください。 - ClickPipesの作成中の「詳細と設定」ステップでカスタムロールをClickPipesユーザーに追加します。

エラーレポート
ClickPipesは、宛先テーブルの隣に <destination_table_name>_clickpipes_error
という接尾辞を持つテーブルを作成します。このテーブルには、ClickPipeの操作(ネットワーク、接続など)からのエラーや、スキーマに準拠していないデータが含まれます。エラー テーブルには TTL が 7 日間設定されています。
ClickPipesがデータソースまたは宛先に15分間接続できない場合、ClickPipesインスタンスは停止し、エラーテーブルに適切なメッセージを保存します(ClickHouseインスタンスが利用可能な場合)。
よくある質問
-
ClickPipesとは何ですか?
ClickPipesは、ユーザーがClickHouseサービスを外部データソース、特にKafkaに接続しやすくするClickHouse Cloudの機能です。ClickPipesを使用すると、ユーザーは簡単にデータをClickHouseに継続的にロードし、リアルタイム解析のためにそれを利用可能にします。
-
ClickPipesはデータ変換をサポートしていますか?
はい、ClickPipesはDDL作成を公開することにより、基本的なデータ変換をサポートしています。これにより、ClickHouse Cloudサービスの宛先テーブルにデータがロードされる際に、より高度な変換を適用できます。ClickHouseのマテリアライズドビュー機能を活用できます。
-
ClickPipesの使用には追加コストがかかりますか?
ClickPipesは、インジェストされたデータとコンピュートの二つの次元で請求されます。料金の詳細はこのページで確認できます。ClickPipesを実行すると、宛先ClickHouse Cloudサービスでの間接的なコンピュートおよびストレージコストが発生する場合もあります。
-
Kafka用のClickPipesを使用する際のエラーや失敗を処理する方法はありますか?
はい、ClickPipes for Kafkaは、Kafkaからデータを消費する際に失敗した場合、自動的に再試行します。ClickPipesは、エラーと不正なデータを7日間保持する専用のエラーテーブルを有効にすることもサポートしています。