Private Service Connect

Scale plan feature

GCP PSC is available in the Scale and Enterprise plans. To upgrade, visit the plans page in the cloud console.

Private Service Connect (PSC) は、サービス利用者が自分の Virtual Private Cloud (VPC) ネットワーク内からマネージドサービスへプライベートにアクセスできるようにする Google Cloud のネットワーク機能です。同様に、マネージドサービス提供者が自分たちの独立した VPC ネットワーク内でこれらのサービスをホストし、利用者に対してプライベート接続を提供することも可能にします。

サービス提供者は、Private Service Connect サービスを作成することで、自身のアプリケーションを利用者に公開します。サービス利用者は、次のいずれかの Private Service Connect の種類を通じて、それらの Private Service Connect サービスへ直接アクセスします。

参考文献

デフォルトでは、PSC 接続が承認され確立されていても、ClickHouse サービスは Private Service Connect 経由では利用できません。インスタンスレベルで、以下の手順を完了して、PSC ID を許可リストに明示的に追加する必要があります。

Private Service Connect Global Access を使用する際の重要な注意事項:

Global Access を利用するリージョンは、同一の VPC に属している必要があります。
Global Access は PSC レベルで明示的に有効化する必要があります（以下のスクリーンショットを参照してください）。
ファイアウォール設定によって、他リージョンからの PSC へのアクセスがブロックされていないことを確認してください。
GCP のリージョン間データ転送料金が発生する可能性がある点に注意してください。

リージョン間接続はサポートされていません。提供者と利用者のリージョンは同一である必要があります。ただし、Private Service Connect (PSC) レベルで Global Access を有効にすることで、同一 VPC 内の他リージョンから接続することは可能です。

GCP PSC を有効化するには、次の作業を完了してください:

Private Service Connect 用の GCP サービスアタッチメントを取得します。
サービスエンドポイントを作成します。
「Endpoint ID」を ClickHouse Cloud サービスに追加します。
「Endpoint ID」を ClickHouse サービスの許可リストに追加します。

注意

ClickHouse は、GCP リージョン内で同じ公開されている PSC エンドポイントを再利用できるように、サービスをグループ化しようとします。ただし、このグループ化は保証されず、特に複数の ClickHouse 組織にサービスを分散している場合は当てはまらない可能性があります。すでに同じ ClickHouse 組織内の他のサービス向けに PSC を構成している場合は、そのグループ化によりほとんどの手順を省略できることが多く、最終ステップである「"Endpoint ID" を ClickHouse サービス許可リストに追加する」に直接進むことができます。

Terraform の例はこちらを参照してください。

始める前に

注記

以下のコード例では、ClickHouse Cloud サービスで Private Service Connect をセットアップする方法を示します。以下の例では、次の値を使用します：

GCP リージョン：us-central1
GCP プロジェクト（お客様の GCP プロジェクト）：my-gcp-project
お客様の GCP プロジェクト内の GCP プライベート IP アドレス：10.128.0.2
お客様の GCP プロジェクト内の GCP VPC：default

ClickHouse Cloud サービスに関する情報を取得する必要があります。これは ClickHouse Cloud コンソールまたは ClickHouse API のいずれかで取得できます。ClickHouse API を使用する場合は、先に進む前に次の環境変数を設定してください：

REGION=<GCP形式を使用したリージョンコード（例: us-central1）>
PROVIDER=gcp
KEY_ID=<ClickHouseキーID>
KEY_SECRET=<ClickHouseキーシークレット>
ORG_ID=<ClickHouse組織ID>
SERVICE_NAME=<ClickHouseサービス名>

新しい ClickHouse Cloud API キーを作成するか、既存のキーを使用できます。

ClickHouse の INSTANCE_ID は、リージョン、プロバイダー、サービス名でフィルタリングして取得します。

INSTANCE_ID=$(curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services" | \
jq ".result[] | select (.region==\"${REGION:?}\" and .provider==\"${PROVIDER:?}\" and .name==\"${SERVICE_NAME:?}\") | .id " -r)

注記

Organization ID は ClickHouse コンソールの「Organization → Organization Details」から確認できます。
新しいキーを作成するか、既存のキーを使用できます。

Private Service Connect 用の GCP サービスアタッチメントと DNS 名を取得する

オプション 1: ClickHouse Cloud コンソール

ClickHouse Cloud コンソールで、Private Service Connect 経由で接続したいサービスを開き、Settings メニューを開きます。続いて Set up private endpoint ボタンをクリックします。Service name（endpointServiceId）と DNS name（privateDnsHostname）を控えておきます。これらは次の手順で使用します。

オプション 2: API

注記

この手順を実行するには、そのリージョンに少なくとも1つのインスタンスがデプロイされている必要があります。

Private Service Connect 用の GCP サービスアタッチメントと DNS 名を取得します。

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" "https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}/privateEndpointConfig" | jq  .result
{
  "endpointServiceId": "projects/.../regions/us-central1/serviceAttachments/production-us-central1-clickhouse-cloud",
  "privateDnsHostname": "xxxxxxxxxx.us-central1.p.gcp.clickhouse.cloud"
}

endpointServiceId と privateDnsHostname をメモしておいてください。次の手順で使用します。

サービスエンドポイントの作成

参考文献

このセクションでは、GCP PSC（Private Service Connect）経由で ClickHouse を設定するための、ClickHouse 固有の詳細について説明します。GCP 固有の手順は、どこを確認すべきかを示すための参考情報として記載していますが、GCP クラウドプロバイダからの通知なしに将来的に変更される可能性があります。GCP の設定は、お客様の具体的なユースケースに基づいて検討してください。

なお、必要な GCP PSC エンドポイントや DNS レコードの設定については、ClickHouse は責任を負いません。

GCP 設定作業に関連する問題については、GCP サポートに直接お問い合わせください。

このセクションでは、サービスエンドポイントを作成します。

プライベートサービス接続の追加

まず、Private Service Connection を作成します。

オプション 1: Google Cloud コンソールを使用する場合

Google Cloud コンソールで、Network services -> Private Service Connect に移動します。

Google Cloud コンソールで Private Service Connect を開く

Connect Endpoint ボタンをクリックして、Private Service Connect の作成ダイアログを開きます。

Target: Published service を選択します。
Target service: Obtain GCP service attachment for Private Service Connect の手順で取得した endpointServiceId^API または Service name^console を使用します。
Endpoint name: PSC の Endpoint name として任意の名前を設定します。
Network/Subnetwork/IP address: 接続に使用するネットワークを選択します。Private Service Connect エンドポイント用に新しく IP アドレスを作成するか、既存のものを使用する必要があります。この例では、事前に your-ip-address という名前でアドレスを作成し、IP アドレス 10.128.0.2 を割り当てています。
エンドポイントを任意のリージョンから利用可能にするには、Enable global access チェックボックスを有効にします。

Private Service Connect で Global Access を有効化

PSC エンドポイントを作成するには、ADD ENDPOINT ボタンをクリックします。

接続が承認されると、Status 列は Pending から Accepted に変わります。

PSC Connection ID をコピーします。これは次の手順で Endpoint ID として使用します。

オプション 2: Terraform を使用する場合

provider "google" {
  project = "my-gcp-project"
  region  = "us-central1"
}

variable "region" {
  type    = string
  default = "us-central1"
}

variable "subnetwork" {
  type = string
  default = "https://www.googleapis.com/compute/v1/projects/my-gcp-project/regions/us-central1/subnetworks/default"
}

variable "network" {
  type = string
  default = "https://www.googleapis.com/compute/v1/projects/my-gcp-project/global/networks/default"
}

resource "google_compute_address" "psc_endpoint_ip" {
  address      = "10.128.0.2"
  address_type = "INTERNAL"
  name         = "your-ip-address"
  purpose      = "GCE_ENDPOINT"
  region       = var.region
  subnetwork   = var.subnetwork
}

resource "google_compute_forwarding_rule" "clickhouse_cloud_psc" {
  ip_address            = google_compute_address.psc_endpoint_ip.self_link
  name                  = "ch-cloud-${var.region}"
  network               = var.network
  region                = var.region
  load_balancing_scheme = ""
  # service attachment
  target = "https://www.googleapis.com/compute/v1/$TARGET" # See below in notes
}

output "psc_connection_id" {
  value       = google_compute_forwarding_rule.clickhouse_cloud_psc.psc_connection_id
  description = "GCP PSC接続IDをインスタンスレベルの許可リストに追加してください。"
}

注記

endpointServiceId^API または Service name^console には、Private Service Connect 用の GCP サービスアタッチメントの取得の手順で取得した値を使用します。

エンドポイントのプライベート DNS 名を設定する

注記

DNS の構成方法にはさまざまなものがあります。ユースケースに応じて適切な方法で DNS を設定してください。

Obtain GCP service attachment for Private Service Connect の手順で取得した「DNS 名」を、GCP Private Service Connect エンドポイントの IP アドレスを指すように設定する必要があります。これにより、VPC／ネットワーク内のサービスやコンポーネントが正しく名前解決できるようになります。

Endpoint ID を ClickHouse Cloud 組織に追加する

オプション 1: ClickHouse Cloud コンソール

組織にエンドポイントを追加するには、ClickHouse サービス許可リストへの「Endpoint ID」の追加の手順に進んでください。ClickHouse Cloud コンソールを使用してサービス許可リストに PSC Connection ID を追加すると、自動的に組織にも追加されます。

エンドポイントを削除するには、Organization details -> Private Endpoints を開き、削除ボタンをクリックしてエンドポイントを削除します。

オプション 2: API

コマンドを実行する前に、次の環境変数を設定します:

以下の ENDPOINT_ID を、Private Service Connection の追加手順で取得した Endpoint ID の値に置き換えてください。

エンドポイントを追加するには、次を実行します:

cat <<EOF | tee pl_config_org.json
{
  "privateEndpoints": {
    "add": [
      {
        "cloudProvider": "gcp",
        "id": "${ENDPOINT_ID:?}",
        "description": "GCPプライベートエンドポイント",
        "region": "${REGION:?}"
      }
    ]
  }
}
EOF

エンドポイントを削除するには、次のコマンドを実行します。

cat <<EOF | tee pl_config_org.json
{
  "privateEndpoints": {
    "remove": [
      {
        "cloudProvider": "gcp",
        "id": "${ENDPOINT_ID:?}",
        "region": "${REGION:?}"
      }
    ]
  }
}
EOF

組織のプライベートエンドポイントを追加／削除:

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" -X PATCH -H "Content-Type: application/json" "https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}" -d @pl_config_org.json

ClickHouse サービスの許可リストに「Endpoint ID」を追加する

Private Service Connect で利用可能にしたい各インスタンスについて、許可リストに Endpoint ID を追加する必要があります。

オプション 1: ClickHouse Cloud コンソール

ClickHouse Cloud コンソールで、Private Service Connect 経由で接続したいサービスを開き、Settings に移動します。Adding a Private Service Connection の手順で取得した Endpoint ID を入力し、Create endpoint をクリックします。

注記

既存の Private Service Connect 接続からのアクセスを許可したい場合は、ドロップダウンメニューから既存のエンドポイントを使用してください。

オプション 2: API

コマンドを実行する前に、次の環境変数を設定します。

以下の ENDPOINT_ID を、Adding a Private Service Connection の手順で取得した Endpoint ID の値に置き換えます。

Private Service Connect で利用可能にしたい各サービスについて、この操作を実行します。

追加するには:

cat <<EOF | tee pl_config.json
{
  "privateEndpointIds": {
    "add": [
      "${ENDPOINT_ID}"
    ]
  }
}
EOF

削除するには:

cat <<EOF | tee pl_config.json
{
  "privateEndpointIds": {
    "remove": [
      "${ENDPOINT_ID}"
    ]
  }
}
EOF

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" -X PATCH -H "Content-Type: application/json" "https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" -d @pl_config.json | jq

Private Service Connect を使用してインスタンスにアクセスする

Private Link を有効にした各サービスには、パブリックエンドポイントとプライベートエンドポイントがあります。Private Link を使用して接続するには、プライベートエンドポイントを使用する必要があります。これは、Private Service Connect 用の GCP サービスアタッチメントと DNS 名の取得で取得した privateDnsHostname です。

プライベート DNS ホスト名の取得

オプション 1: ClickHouse Cloud コンソール

ClickHouse Cloud コンソールで Settings に移動します。Set up private endpoint ボタンをクリックします。開いたフライアウトで DNS Name をコピーします。

オプション 2: API

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" "https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}/privateEndpointConfig" | jq  .result

{
  ...
  "privateDnsHostname": "xxxxxxx.<region code>.p.gcp.clickhouse.cloud"
}

この例では、xxxxxxx.yy-xxxxN.p.gcp.clickhouse.cloud ホスト名への接続は Private Service Connect 経由になります。一方、xxxxxxx.yy-xxxxN.gcp.clickhouse.cloud ホスト名への接続はインターネット経由になります。

トラブルシューティング

DNS セットアップのテスト

DNS_NAME - Private Service Connect 用の GCP サービスアタッチメントの取得の手順で取得した privateDnsHostname を DNS_NAME に指定します

nslookup $DNS_NAME

非権威的な回答:
...
アドレス: 10.128.0.2

ピアによる接続リセット

最もよくある原因は、エンドポイント ID がサービスの許可リストに追加されていないことです。エンドポイント ID をサービスの許可リストに追加 の手順を再確認してください。

接続テスト

PSC リンクを使った接続で問題が発生している場合は、openssl を使って接続を確認してください。Private Service Connect エンドポイントのステータスが Accepted であることを確認します。

OpenSSL は接続できるはずです（出力に CONNECTED が表示されます）。errno=104 は想定される値です。

DNS_NAME - Private Service Connect 用の GCP サービスアタッチメントの取得の手順で取得した privateDnsHostname を使用します

openssl s_client -connect ${DNS_NAME}:9440

# highlight-next-line
CONNECTED(00000003)
write:errno=104
---
ピア証明書が利用できません
---
クライアント証明書のCA名が送信されませんでした
---
SSLハンドシェイクは0バイトを読み取り、335バイトを書き込みました
検証: OK
---
新規、(なし)、暗号は(なし)
セキュア再ネゴシエーションはサポートされていません
圧縮: なし
拡張: なし
ALPNネゴシエーションなし
早期データは送信されませんでした
検証リターンコード: 0 (ok)

エンドポイントフィルターの確認

REST API

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" -X GET -H "Content-Type: application/json" "https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" | jq .result.privateEndpointIds
[
  "102600141743718403"
]

リモートデータベースへの接続

たとえば、ClickHouse Cloud で MySQL や PostgreSQL のテーブル関数を使用し、GCP 上でホストされているデータベースに接続しようとしているとします。GCP PSC は、この接続をセキュアな形で確立するためには利用できません。PSC は一方向の接続です。PSC により、内部ネットワークまたは GCP VPC から ClickHouse Cloud へのセキュアな接続は可能ですが、ClickHouse Cloud から内部ネットワークへの接続は許可されません。

GCP Private Service Connect のドキュメントによると、次のように記載されています。

サービス指向の設計: プロデューササービスは、コンシューマ VPC ネットワークに対して 1 つの IP アドレスを公開するロードバランサを通じて公開されます。プロデューササービスにアクセスするコンシューマトラフィックは単方向であり、ピアリングされた VPC ネットワーク全体ではなく、サービス IP アドレスにのみアクセスできます。

これを行うには、GCP VPC のファイアウォールルールを構成し、ClickHouse Cloud から社内／プライベートなデータベースサービスへの接続を許可します。ClickHouse Cloud リージョンのデフォルトの送信 (egress) IP アドレスと、利用可能な静的 IP アドレスを確認してください。

詳細情報

詳しくは、cloud.google.com/vpc/docs/configure-private-service-connect-services を参照してください。

注意​

始める前に​

Private Service Connect 用の GCP サービス アタッチメントと DNS 名を取得する​

オプション 1: ClickHouse Cloud コンソール​

オプション 2: API​

サービスエンドポイントの作成​

プライベートサービス接続の追加​

オプション 1: Google Cloud コンソールを使用する場合​

オプション 2: Terraform を使用する場合​

エンドポイントのプライベート DNS 名を設定する​

Endpoint ID を ClickHouse Cloud 組織に追加する​

オプション 1: ClickHouse Cloud コンソール​

オプション 2: API​

ClickHouse サービスの許可リストに「Endpoint ID」を追加する​

オプション 1: ClickHouse Cloud コンソール​

オプション 2: API​

Private Service Connect を使用してインスタンスにアクセスする​

プライベート DNS ホスト名の取得​

オプション 1: ClickHouse Cloud コンソール​

オプション 2: API​

トラブルシューティング​

DNS セットアップのテスト​

ピアによる接続リセット​

接続テスト​

エンドポイントフィルターの確認​

REST API​

リモートデータベースへの接続​

詳細情報​

注意

始める前に

Private Service Connect 用の GCP サービスアタッチメントと DNS 名を取得する

オプション 1: ClickHouse Cloud コンソール

オプション 2: API

サービスエンドポイントの作成

プライベートサービス接続の追加

オプション 1: Google Cloud コンソールを使用する場合

オプション 2: Terraform を使用する場合

エンドポイントのプライベート DNS 名を設定する

Endpoint ID を ClickHouse Cloud 組織に追加する

オプション 1: ClickHouse Cloud コンソール

オプション 2: API

ClickHouse サービスの許可リストに「Endpoint ID」を追加する

オプション 1: ClickHouse Cloud コンソール

オプション 2: API

Private Service Connect を使用してインスタンスにアクセスする

プライベート DNS ホスト名の取得

オプション 1: ClickHouse Cloud コンソール

オプション 2: API

トラブルシューティング

DNS セットアップのテスト

ピアによる接続リセット

接続テスト

エンドポイントフィルターの確認

REST API

リモートデータベースへの接続

詳細情報