メインコンテンツへスキップ
すべての ClickPipes タイプは、ClickHouse Cloud OpenAPI を使用してプログラムから作成、更新、削除できます。このページでは、認証と利用可能な ClickPipes エンドポイントについて説明し、各 ClickPipe タイプごとに curl リクエストの例を示します。

認証

ClickHouse Cloud API は HTTP Basic 認証を使用します。対象のサービスに対する権限を持つ API キー (key ID + key secret) が必要です。作成手順については、API キーの管理を参照してください。 以下の例を実行する前に、次の環境変数を設定してください。

ベースURL

エンドポイント

すべての ClickPipes エンドポイントは、ClickHouse Cloud サービスのスコープに属します。 CDC (変更データキャプチャ) ClickPipes (Postgres、MySQL、MongoDB) では、共有 CDC (変更データキャプチャ) インフラストラクチャのスケーリング用に、組織レベルの追加エンドポイントが用意されています。 各エンドポイントの完全なリクエスト/レスポンス スキーマについては、API リファレンス を参照してください。

例

ClickPipes を一覧表示する

ClickPipeを取得する

ClickPipe の停止または開始

ClickPipe を削除する

GCP Workload Identity (ベータ)

以下の Workload Identity の例を使用する前に、GCP Workload Identity ガイドの手順に従って ClickPipes が管理する service account を取得し、そのアカウントにソースへのアクセス権限を付与してください。

ClickPipes の作成

POST /clickpipes のリクエストボディは、ソースタイプによって異なります。以下の例では、サポートされている各 ClickPipe タイプの構造を示します。正式な JSON スキーマについては、API リファレンス を参照してください。

Kafka

サポートされている Kafka 互換のソース: kafka, confluent, msk, azureeventhub, redpanda, warpstream、およびプライベートプレビューの gcmk。
Google Managed Kafka の場合は、クラスターのプロジェクトで Workload Identity のプリンシパルに roles/managedkafka.client を付与し、必要な Kafka のアクセス制御リストを設定してください。そのうえで、credentials フィールドを含めずに、次の source オブジェクトを使用します。
Google Managed Kafka で Workload Identity を使用するには TLS が必要です。

Amazon Kinesis

この例では、Avro を AWS Glue Schema Registry と組み合わせて設定しています。Glue を使用して Protobuf をデコードするには、format を Protobuf に設定し、schemaRegistry はそのまま残します。Glue を使わずに Protobuf スキーマをアップロードする場合は、format を Protobuf に設定し、base64 エンコードした .proto ファイルまたはシリアル化した FileDescriptorSet を protobufSchema に指定します。その場合、リクエストに schemaRegistry を含めないでください。

Amazon S3

Google Cloud Storage

serviceAccountKey には、GCP の service account JSON キーファイルの内容を base64 エンコードした値を指定する必要があります。
service account キーの代わりに Workload Identity を使用する場合は、ソースバケットに対する roles/storage.objectViewer をプリンシパルに付与し、次のソースオブジェクトを使用します:
unordered モードでインジェストする場合は、通知用サブスクリプションに対する roles/pubsub.subscriber と roles/pubsub.viewer もプリンシパルに付与してください。また、isContinuous を true に設定し、queueUrl には projects/<project-id>/subscriptions/<subscription-id> 形式の完全修飾名を指定してください。

Google Cloud Pub/Sub

次の例では Workload Identity を使用します。ClickPipe を作成する前に、プリンシパルに必要な Pub/Sub のアクセス許可を付与してください。

Azure Blob Storage

Postgres CDC (変更データキャプチャ)

MySQL CDC (変更データキャプチャ)

MongoDB CDC (変更データキャプチャ)

BigQuery

serviceAccountFile には、GCP の service account JSON キーファイルの内容を base64 エンコードしたものを指定する必要があります。
service account キーの代わりに Workload Identity を使用するには、プリンシパルに必要な BigQuery および GCS のアクセス許可を付与したうえで、次の source オブジェクトを使用します。