ClickPipes 向け GCP Private Service Connect

GCP の Private Service Connect (PSC) を使用すると、ClickPipes と GCP 上でホストされているデータソース間にセキュアな接続を確立できます。ClickPipes は VPC 内に リバースプライベートエンドポイント (RPE) を作成し、データソース用に公開されたプライベートエンドポイントサービスに接続するため、トラフィックがパブリックインターネットに公開されることはありません。

GCP PSC 接続を利用できるのは、ClickPipes サービスが GCP にデプロイされている場合のみです。開始前に、ClickPipes がホストされている GCP リージョンの一覧を確認してください。

サポートされるパターン

パターン	適用される場合	サービスアタッチメント
ネイティブ PSC	AlloyDB など、PSC サービスアタッチメントを自動的に公開するマネージドサービス。	インスタンスで PSC を有効にすると自動的に作成されます。
プロデューサー所有の PSC	Compute Engine 上の Postgres や、プライベート IP 経由でのみアクセス可能なマネージドサービスなど、サービスアタッチメントを公開しないデータソース。	ユーザーが作成・管理します。

前提条件

GCP でホストされ、ClickPipes がホストされているリージョンに配置された ClickHouse Cloud サービス。
ソースで PSC を有効にし、PSC サービスアタッチメントを管理するための IAM 権限 (roles/compute.networkAdmin) 。
サービスアタッチメントへの接続を許可されたClickPipes コンシューマープロジェクト。本番環境の ClickPipes では、これは clickpipes-production です。
サービスを所有する組織の ClickHouse Cloud API キー/シークレット (Terraform または API 経由でプロビジョニングする場合にのみ必要) 。

リバースプライベートエンドポイントを作成する

RPE を作成するには、データソースについて次の情報が必要です。

サービスアタッチメント URI: projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>。データソースの前段に公開されている PSC エンドポイントです。
private DNS 名: パイプの接続先ホスト名です。PSC エンドポイントには DNS 名が紐付かない静的な内部 IP が割り当てられるため、 ClickPipes がこのホスト名をその IP に解決します。

ClickPipes UI
Terraform
API

ClickHouse Cloud でサービスを開き、Data Sources > ClickPipes に移動します。
取り込み元のデータソースを選択します。
Setup your ClickPipe connection で Use secure connection をオンにし、+ Reverse private endpoint をクリックして GCP PSC service attachment を選択します。
サービスアタッチメント URI、private DNS 名、説明を入力します。
Create をクリックします。エンドポイントの状態は Provisioning → Ready と遷移します。 (ネイティブ PSC は自動承認されるため、PendingAcceptance は表示されません。)

カスタム private DNS マッピングは clickhouse_clickpipes_reverse_private_endpoint の属性ではありません。マッピングの完全な置換リストを指定し、ID でエンドポイントを参照する別個の clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns リソースで管理します。

resource "clickhouse_clickpipes_reverse_private_endpoint" "gcp_psc" {
  service_id             = var.clickhouse_service_id
  description            = "GCP PSC endpoint"
  type                   = "GCP_PSC_SERVICE_ATTACHMENT"
  gcp_service_attachment = "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>"
}

resource "clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns" "gcp_psc" {
  service_id                  = var.clickhouse_service_id
  reverse_private_endpoint_id = clickhouse_clickpipes_reverse_private_endpoint.gcp_psc.id

  mapping = [
    { private_dns_name = "<PRIVATE_DNS_NAME>" }
  ]
}

curl --silent --user $KEY_ID:$KEY_SECRET \
  -X POST -H "Content-Type: application/json" \
  https://api.clickhouse.cloud/v1/organizations/<ORG_ID>/services/<SERVICE_ID>/clickpipesReversePrivateEndpoints \
  -d '{
    "type": "GCP_PSC_SERVICE_ATTACHMENT",
    "description": "GCP PSC endpoint",
    "gcpServiceAttachment": "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>",
    "customPrivateDnsMappings": [
      { "privateDnsName": "<PRIVATE_DNS_NAME>" }
    ]
  }'

カスタムプライベート DNS 名

GCP PSC では DNS が伝播されないため、カスタム private DNS マッピングはすべての GCP PSC エンドポイントに不可欠です。この方法で常にデータソースのプライベート DNS 名を指定し、ClickPipes はそれをエンドポイントの静的な内部 IP に解決します。標準の ClickPipes カスタムプライベート DNS 命名規則が適用されます。ワイルドカードのサポート、service の reverse private endpoints 間での一意性、予約済み接尾辞に関する制限は、すべての provider で同じように適用されます。ワイルドカードは GCP で特に便利です。たとえば、*.<cluster>.<region>.managedkafka.<project>.cloud.goog のような単一のマッピングで、Managed Kafka クラスター内のすべての broker を対象にできます。 GCP PSC では、マッピングの privateDnsName のみが使用されます。PSC エンドポイントは、紐付ける DNS 名のない静的 IP を公開するため、internalDNSName フィールドはサポートされません。マッピングは常にその IP に解決されます。

プロデューサー所有の接続を承認する

プロデューサー所有の PSC では、接続が自動的に承認されるよう、ClickPipes コンシューマープロジェクトをサービスアタッチメントの自動承認リストに追加します。これを省略すると、RPE は手動で承認するまで PendingAcceptance 状態のままとなります。接続を承認するには、サービスアタッチメントのコンシューマー承認リストに、エンドポイントの数値 ID ベースの URI (projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID>) を追加する必要があります。この値は、サービスアタッチメント上の保留中の接続の endpointWithId です。次のように記述して確認します。

gcloud beta compute service-attachments describe <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --format='json(connectedEndpoints)'

status が PENDING のエントリから endpointWithId を取得し、https://www.googleapis.com/compute/beta/ プレフィックスを削除して、結果を --consumer-accept-list に渡します。

gcloud beta compute service-attachments update <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --consumer-accept-list=projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID> \
  --reconcile-connections

ここでは、ClickPipes API/Terraform のレスポンスに含まれる endpoint_id を使用しないでください。この値は転送ルールの名前であり、GCP が必要とする数値 ID ではないため、許可リストと一致しません。必ず、サービスアタッチメントの保留中の endpointWithId から数値 ID を取得してください。--consumer-accept-list は、許可リストに追加するのではなく上書きします。サービスアタッチメントがすでに他のプロジェクトまたはエンドポイントを許可している場合は、すべてを同じコマンドで指定してください。指定から除外したものはアクセスできなくなります。

リバースプライベートエンドポイントの管理

既存のリバースプライベートエンドポイントは、ClickHouse Cloud のサービス設定で管理できます。

サイドバーで Settings ボタンをクリックします。
ClickPipe reverse private endpoints セクションで Reverse private endpoints をクリックします。リバースプライベートエンドポイントの詳細情報がフライアウトに表示されます。このビューでは削除以外の操作はできません。エンドポイントの × をクリックし、確認して削除します。削除は元に戻せず、そのエンドポイントを現在使用している ClickPipe は機能しなくなります。エンドポイントのカスタム private DNS マッピングを変更するには、API または Terraform を使用します。更新すると、マッピングが追加されるのではなく、マッピングのリスト全体が置き換えられます。

エンドポイントに Rejected または Failed が表示される場合は、ステータスの下にあるメッセージを確認してください。このメッセージでは、producer によって拒否された接続と、閉じられた接続または対応が必要な接続を区別できます。通常、いずれもサービスアタッチメントの許可リストに ClickPipes コンシューマープロジェクトが含まれていないことを示します。GCP がエンドポイントについて報告しているステータスを確認するには、サービスアタッチメントの connectedEndpoints を記述します。

制限事項

RPE エンドポイントとサービスアタッチメントは、同じ GCP リージョン内に存在する必要があります。グローバルアクセスを介したリージョン間 PSC は、まだサポートされていません。ログソースが別のリージョンにある場合は、SSH トンネリングを使用してください。
PSC サービスアタッチメントを一度に要求できる ClickHouse Cloud サービスは 1 つだけであり、複数のサービス間で再利用することはできません。サービスアタッチメントを別のサービスに移動するには、既存の要求を解除するため、ClickHouse Support にお問い合わせください。

ClickPipes for Object Storage

ClickPipes for Postgres

ClickPipes for Kafka

ClickPipes for Kinesis

ClickPipes for GCP Pub/Sub

ClickPipes for MySQL

ClickPipes for MongoDB

ClickPipes for BigQuery

Programmatic access

Networking

Other

ClickPipes 向け GCP Private Service Connect

サポートされるパターン

前提条件

リバースプライベートエンドポイントを作成する

カスタムプライベート DNS 名

プロデューサー所有の接続を承認する

リバースプライベートエンドポイントの管理

制限事項

​サポートされるパターン

​前提条件

​リバース プライベート エンドポイントを作成する

​カスタム プライベート DNS 名

​プロデューサー所有の接続を承認する

​リバース プライベート エンドポイントの管理

​制限事項

サポートされるパターン

前提条件

リバースプライベートエンドポイントを作成する

カスタムプライベート DNS 名

プロデューサー所有の接続を承認する

リバースプライベートエンドポイントの管理

制限事項