メインコンテンツまでスキップ
メインコンテンツまでスキップ

ClickHouse Cloud との統合

導入​

ClickPipes は、さまざまなソースからのデータの取り込みをボタンをクリックするだけで簡単に行える管理された統合プラットフォームです。最も要求の厳しいワークロード向けに設計された ClickPipes の堅牢でスケーラブルなアーキテクチャは、一貫したパフォーマンスと信頼性を保証します。ClickPipes は長期的なストリーミングニーズや一回限りのデータロードジョブに使用できます。

ClickPipes スタック

サポートされているデータソース​

名前ロゴ種類ステータス説明
Apache Kafkaストリーミング安定ClickPipes を構成し、Apache Kafka から ClickHouse Cloud へストリーミングデータを取り込み始めます。
Confluent Cloudストリーミング安定Confluent と ClickHouse Cloud の統合を通じて、その結合されたパワーを活用しましょう。
RedpandaRedpanda ロゴストリーミング安定ClickPipes を構成し、Redpanda から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
AWS MSKストリーミング安定ClickPipes を構成し、AWS MSK から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
Azure Event Hubsストリーミング安定ClickPipes を構成し、Azure Event Hubs から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
WarpStreamストリーミング安定ClickPipes を構成し、WarpStream から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
Amazon S3オブジェクトストレージ安定ClickPipes を構成して、オブジェクトストレージから大量のデータを取り込みます。
Google Cloud Storageオブジェクトストレージ安定ClickPipes を構成して、オブジェクトストレージから大量のデータを取り込みます。
Amazon Kinesisストリーミング安定ClickPipes を構成し、Amazon Kinesis から ClickHouse Cloud へストリーミングデータを取り込み始めます。
PostgresDBMSパブリックベータClickPipes を構成し、Postgres から ClickHouse Cloud へのデータの取り込みを開始します。

さらに多くのコネクタが ClickPipes に追加される予定です。詳細については、お問い合わせください。

静的 IP アドレスのリスト​

以下は、ClickPipes が外部サービスに接続するために使用する静的 NAT IP（地域別に分かれています）です。関連するインスタンス地域の IP を IP 許可リストに追加して、トラフィックを許可してください。インスタンス地域がここにリストされていない場合は、デフォルト地域にフォールバックします。

  • eu-central-1 EU 地域用
  • us-east-1 us-east-1 のインスタンス用
  • us-east-2 他のすべての地域用
ClickHouse Cloud 地域IP アドレス
eu-central-118.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
us-east-23.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
us-east-154.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150

ClickHouse 設定の調整​

ClickHouse Cloud は、ほとんどのユースケースに対して妥当なデフォルト値を提供します。ただし、ClickPipes の宛先テーブルの ClickHouse 設定を調整する必要がある場合、ClickPipes 用の専用ロールが最も柔軟なソリューションです。 手順：

  1. カスタムロールを作成 CREATE ROLE my_clickpipes_role SETTINGS ...。詳細については、CREATE ROLE 文法を参照してください。
  2. ClickPipes の作成時に 詳細と設定 ステップで、カスタムロールを ClickPipes ユーザーに追加します。
カスタムロールの割り当て

エラー報告​

ClickPipes は、宛先テーブルの横に <destination_table_name>_clickpipes_error という接尾辞を持つテーブルを作成します。このテーブルには、ClickPipe の操作からのエラー（ネットワーク、接続など）や、スキーマに準拠しないデータが含まれます。エラーテーブルの有効期限（TTL）は 7 日間です。 ClickPipes が 15 分後にデータソースまたは宛先に接続できない場合、ClickPipes インスタンスは停止し、エラーテーブルに適切なメッセージを保存します（ClickHouse インスタンスが利用可能な場合）。

よくある質問​

  • ClickPipes とは何ですか？

    ClickPipes は、ユーザーが ClickHouse サービスを外部データソース、特に Kafka に接続するのを容易にする ClickHouse Cloud の機能です。ClickPipes for Kafka を使用すると、ユーザーはデータを ClickHouse に継続的にロードできるため、リアルタイム分析に利用可能となります。

  • ClickPipes はデータ変換をサポートしていますか？

    はい、ClickPipes は基本的なデータ変換を DDL 作成を通じて公開することによりサポートしています。ClickHouse Cloud サービスの宛先テーブルにデータがロードされる際に、ClickHouse の マテリアライズドビュー機能 を利用して、より高度な変換を適用できます。

  • ClickPipes を使用すると追加費用が発生しますか？

    ClickPipes は、取り込まれたデータと計算の 2 次元で請求されます。料金の詳細は、このページ で確認できます。ClickPipes を実行すると、宛先の ClickHouse Cloud サービスで、他の取り込みワークロードと同様に、間接的な計算およびストレージコストも発生する可能性があります。

  • Kafka 用の ClickPipes を使用している際に、エラーや失敗を処理する方法はありますか？

    はい、ClickPipes for Kafka は、データを Kafka から取得する際に失敗した場合、自動的に再試行します。また、ClickPipes は、エラーや不正なデータを 7 日間保持する専用のエラーテーブルを有効にすることもサポートしています。