メインコンテンツへスキップ
すべての ClickPipes の種類は、ClickHouse Terraform プロバイダー の clickhouse_clickpipe リソースを使用して作成および管理できます。このページでは、プロバイダーのセットアップと、サポートされている各 ClickPipeタイプ の設定例を紹介します。

プロバイダーの設定

ClickPipes のサポートは、プロバイダーバージョン v3.14.0 から一般提供されています。 それ以前のバージョンを使用している場合は、alpha リリースが必要です。詳細については provider changelog を確認してください。
ClickHouse プロバイダーを Terraform の設定に追加します。
プロバイダーで使用する API キーの作成手順については、API キーの管理を参照してください。

リソースの概要

clickhouse_clickpipe リソースには、次のトップレベルの引数があります。 id 属性と state 属性は読み取り専用で、作成後に ClickHouse Cloud によって設定されます。

GCP Workload Identity (ベータ)

以下の Workload Identity の例を使用する前に、GCP Workload Identity ガイドの手順に従って ClickPipes が管理する service account を取得し、ソースへのアクセス権を付与してください。

宛先

destination ブロックは、すべてのソースタイプで共通です:
CDC (変更データキャプチャ) ソース (Postgres、MySQL、MongoDB、BigQuery) の場合、宛先テーブルはソースのスキーマに基づいて自動的に作成されるため、通常必要なのは database のみです。

ClickPipeタイプ別の例

Kafka

サポートされるtypeの値: kafka, confluent, msk, azureeventhub, redpanda, warpstream、およびプライベートプレビュー段階のgcmk.

GCP Workload Identity を使用した Google Managed Kafka

ClickPipe を作成する前に、ClickPipes の service account に roles/managedkafka.client を付与してください。Google Managed Kafka では TLS が必須です。また、Kafka のアクセス制御リストで、選択したトピックおよびコンシューマグループに対する READ と DESCRIBE のアクセス権を service account (User:<service-account-email>) に付与しておく必要があります。

スキーマレジストリ対応のKafka

Amazon Kinesis

アップロードした Protobuf スキーマを使用する Kinesis

format を Protobuf に設定し、protobuf_schema には base64 エンコードした .proto ファイル、またはシリアル化した FileDescriptorSet を指定します。スキーマをアップロードする場合は、schema_registry を設定しないでください。

IAM role を使用した Kinesis

IAM role 認証を使用するには、AWS 上で稼働する ClickHouse サービスが必要です。

Amazon S3

SQS を使用した S3 の継続的インジェスト

SQS キューを使用して継続的インジェストを行う場合 (順不同モード) です。セットアップ手順については、順不同モードの設定を参照してください。

Google Cloud Storage

service_account_key には、GCP サービスアカウントの JSON キーファイルの内容を base64 でエンコードしたものを指定する必要があります。

GCP Workload Identity を使用した GCS

ClickPipes の service account に必要な GCS アクセス許可を付与したら、上記の source ブロックを次の内容に置き換えます。
unordered インジェストの場合は、is_continuous = true もあわせて設定し、queue_url には projects/<project-id>/subscriptions/<subscription-id> 形式の完全修飾名を指定してください。

Google Cloud Pub/Sub

次の例では Workload Identity を使用します。ClickPipe を作成する前に、ClickPipes の service account に必要な Pub/Sub のアクセス許可を付与してください。

Azure Blob Storage

Postgres CDC (変更データキャプチャ)

IAM role を使用する Postgres

IAM role認証には、AWS 上で稼働している ClickHouseサービスが必要です。

MySQL CDC (変更データキャプチャ)

MongoDB CDC (変更データキャプチャ)

BigQuery

service_account_file には、GCP サービスアカウントの JSON キーファイルの内容を base64 エンコードしたものを指定する必要があります。

GCP Workload Identity を使用した BigQuery

ClickPipes の service account に必要な BigQuery および GCS のアクセス許可を付与したら、上記の source ブロックを次の内容に置き換えます。

スケーリング

すべての ClickPipe タイプで、レプリカ数と各レプリカへのリソース割り当てを設定するための scaling ブロックをサポートしています。

既存の ClickPipes のインポート

既存の ClickPipes は、service ID と ClickPipe ID の両方を使用して Terraform state にインポートできます。