メインコンテンツまでスキップ
メインコンテンツまでスキップ

ClickHouse Cloudとの統合

はじめに​

ClickPipes は、さまざまなソースからのデータを簡単にインジェストできる管理された統合プラットフォームです。最も要求の厳しいワークロード向けに設計されたClickPipesの堅牢でスケーラブルなアーキテクチャは、一貫したパフォーマンスと信頼性を確保します。ClickPipesは、長期的なストリーミングニーズや一回限りのデータロードジョブに使用できます。

サポートされているデータソース​

名前ロゴタイプステータス説明
Apache Kafkaストリーミング安定ClickPipesを設定し、Apache KafkaからClickHouse Cloudへのストリーミングデータをインジェスト開始します。
Confluent Cloudストリーミング安定ConfluentとClickHouse Cloudの統合による強力な機能を解放します。
Redpandaストリーミング安定ClickPipesを設定し、RedpandaからClickHouse Cloudへのストリーミングデータをインジェスト開始します。
AWS MSKストリーミング安定ClickPipesを設定し、AWS MSKからClickHouse Cloudへのストリーミングデータをインジェスト開始します。
Azure Event Hubsストリーミング安定ClickPipesを設定し、Azure Event HubsからClickHouse Cloudへのストリーミングデータをインジェスト開始します。
WarpStreamストリーミング安定ClickPipesを設定し、WarpStreamからClickHouse Cloudへのストリーミングデータをインジェスト開始します。
Amazon S3オブジェクトストレージ安定ClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。
Google Cloud Storageオブジェクトストレージ安定ClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。
DigitalOcean Spacesオブジェクトストレージ安定ClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。
Azure Blob StorageオブジェクトストレージプライベートベータClickPipesを設定し、オブジェクトストレージから大量のデータをインジェストします。
Amazon Kinesisストリーミング安定ClickPipesを設定し、Amazon KinesisからClickHouse Cloudへのストリーミングデータをインジェスト開始します。
PostgresDBMSパブリックベータClickPipesを設定し、PostgresからClickHouse Cloudへのデータをインジェスト開始します。
MySQLDBMSプライベートベータClickPipesを設定し、MySQLからClickHouse Cloudへのデータをインジェスト開始します。

より多くのコネクタがClickPipesに追加されます。詳細については、お問い合せください。

スタティックIPのリスト​

以下は、ClickPipesが外部サービスに接続するために使用する静的NAT IP（地域別に分けたもの）です。関連するインスタンスの地域のIPをIP許可リストに追加して、トラフィックを許可してください。 インスタンスの地域がここにリストされていない場合は、デフォルトの地域にフォールバックします：

  • eu-central-1 EU地域用
  • us-east-1 us-east-1のインスタンス用
  • us-east-2 その他すべての地域用
ClickHouse Cloud地域IPアドレス
eu-central-118.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
us-east-23.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
us-east-154.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150

ClickHouse設定の調整​

ClickHouse Cloudは、ほとんどのユースケースに対して合理的なデフォルトを提供します。ただし、ClickPipesの宛先テーブルのためにいくつかのClickHouse設定を調整する必要がある場合は、ClickPipes用の専用ロールが最も柔軟なソリューションです。 手順：

  1. カスタムロール CREATE ROLE my_clickpipes_role SETTINGS ... を作成します。CREATE ROLE 構文の詳細を参照してください。
  2. ClickPipesの作成中の「詳細と設定」ステップでカスタムロールをClickPipesユーザーに追加します。

エラーレポート​

ClickPipesは、宛先テーブルの隣に <destination_table_name>_clickpipes_error という接尾辞を持つテーブルを作成します。このテーブルには、ClickPipeの操作（ネットワーク、接続など）からのエラーや、スキーマに準拠していないデータが含まれます。エラー テーブルには TTL が 7 日間設定されています。 ClickPipesがデータソースまたは宛先に15分間接続できない場合、ClickPipesインスタンスは停止し、エラーテーブルに適切なメッセージを保存します（ClickHouseインスタンスが利用可能な場合）。

よくある質問​

  • ClickPipesとは何ですか？

    ClickPipesは、ユーザーがClickHouseサービスを外部データソース、特にKafkaに接続しやすくするClickHouse Cloudの機能です。ClickPipesを使用すると、ユーザーは簡単にデータをClickHouseに継続的にロードし、リアルタイム解析のためにそれを利用可能にします。

  • ClickPipesはデータ変換をサポートしていますか？

    はい、ClickPipesはDDL作成を公開することにより、基本的なデータ変換をサポートしています。これにより、ClickHouse Cloudサービスの宛先テーブルにデータがロードされる際に、より高度な変換を適用できます。ClickHouseのマテリアライズドビュー機能を活用できます。

  • ClickPipesの使用には追加コストがかかりますか？

    ClickPipesは、インジェストされたデータとコンピュートの二つの次元で請求されます。料金の詳細はこのページで確認できます。ClickPipesを実行すると、宛先ClickHouse Cloudサービスでの間接的なコンピュートおよびストレージコストが発生する場合もあります。

  • Kafka用のClickPipesを使用する際のエラーや失敗を処理する方法はありますか？

    はい、ClickPipes for Kafkaは、Kafkaからデータを消費する際に失敗した場合、自動的に再試行します。ClickPipesは、エラーと不正なデータを7日間保持する専用のエラーテーブルを有効にすることもサポートしています。