curl リクエストの例を示します。
認証
ClickHouse Cloud API は HTTP Basic 認証を使用します。対象のサービスに対する権限を持つ API キー (key ID + key secret) が必要です。作成手順については、API キーの管理を参照してください。 以下の例を実行する前に、次の環境変数を設定してください。ベースURL
エンドポイント
すべての ClickPipes エンドポイントは、ClickHouse Cloud サービスのスコープに属します。
CDC (変更データキャプチャ) ClickPipes (Postgres、MySQL、MongoDB) では、共有 CDC (変更データキャプチャ) インフラストラクチャのスケーリング用に、組織レベルの追加エンドポイントが用意されています。
各エンドポイントの完全なリクエスト/レスポンス スキーマについては、API リファレンス を参照してください。
例
ClickPipes を一覧表示する
ClickPipeを取得する
ClickPipe の停止または開始
ClickPipe を削除する
GCP Workload Identity (ベータ)
以下の Workload Identity の例を使用する前に、GCP Workload Identity ガイドの手順に従って ClickPipes が管理する service account を取得し、そのアカウントにソースへのアクセス権限を付与してください。ClickPipes の作成
POST /clickpipes のリクエストボディは、ソースタイプによって異なります。以下の例では、サポートされている各 ClickPipe タイプの構造を示します。正式な JSON スキーマについては、API リファレンス を参照してください。
Kafka
サポートされている Kafka 互換のソース:kafka, confluent, msk, azureeventhub, redpanda, warpstream、およびプライベートプレビューの gcmk。
roles/managedkafka.client を付与し、必要な Kafka のアクセス制御リストを設定してください。そのうえで、credentials フィールドを含めずに、次の source オブジェクトを使用します。
Amazon Kinesis
format を Protobuf に設定し、schemaRegistry はそのまま残します。Glue を使わずに Protobuf スキーマをアップロードする場合は、format を Protobuf に設定し、base64 エンコードした .proto ファイルまたはシリアル化した FileDescriptorSet を protobufSchema に指定します。その場合、リクエストに schemaRegistry を含めないでください。
Amazon S3
Google Cloud Storage
serviceAccountKey には、GCP の service account JSON キーファイルの内容を base64 エンコードした値を指定する必要があります。
roles/storage.objectViewer をプリンシパルに付与し、次のソースオブジェクトを使用します:
roles/pubsub.subscriber と roles/pubsub.viewer もプリンシパルに付与してください。また、isContinuous を true に設定し、queueUrl には projects/<project-id>/subscriptions/<subscription-id> 形式の完全修飾名を指定してください。
Google Cloud Pub/Sub
次の例では Workload Identity を使用します。ClickPipe を作成する前に、プリンシパルに必要な Pub/Sub のアクセス許可を付与してください。Azure Blob Storage
Postgres CDC (変更データキャプチャ)
MySQL CDC (変更データキャプチャ)
MongoDB CDC (変更データキャプチャ)
BigQuery
serviceAccountFile には、GCP の service account JSON キーファイルの内容を base64 エンコードしたものを指定する必要があります。