GCP Private Service Connect для ClickPipes

Вы можете использовать GCP Private Service Connect (PSC), чтобы установить защищённое соединение между ClickPipes и источником данных, размещённым в GCP. ClickPipes создаёт обратную частную конечную точку (RPE) в своей VPC и связывает её с сервисом конечной точки, опубликованным для вашего источника данных, поэтому трафик никогда не передаётся через публичный интернет.

Подключение через GCP PSC доступно только при развёртывании сервиса ClickPipes в GCP. Перед началом работы проверьте список регионов GCP, в которых размещён ClickPipes.

Поддерживаемые схемы

Схема	Когда применяется	Подключение сервиса GCP
Нативный PSC	Управляемые сервисы, автоматически публикующие подключение сервиса PSC, например AlloyDB.	Автоматически создаётся при включении PSC для экземпляра.
PSC, принадлежащий producer	Источники данных, не публикующие подключение сервиса, например Postgres на Compute Engine или управляемый сервис, доступный только по частному IP-адресу.	Создаётся и управляется вами.

Предварительные требования

Сервис ClickHouse Cloud, размещённый в GCP в регионе, где доступен ClickPipes.
Права IAM для включения PSC для вашего источника и управления подключениями сервиса GCP (roles/compute.networkAdmin).
Проект-потребитель ClickPipes, которому разрешено подключаться к вашему подключению сервиса GCP. В продакшне ClickPipes это clickpipes-production.
API key/secret ClickHouse Cloud для организации, которой принадлежит сервис (требуется только при настройке через Terraform или API).

Создайте обратную частную конечную точку

Чтобы создать RPE, вам потребуется следующая информация об источнике данных:

URI подключения сервиса GCP: projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME> — конечная точка PSC, опубликованная перед источником данных.
имя private DNS: имя хоста, к которому подключается ваш пайп. Конечной точке PSC назначается статический внутренний IP-адрес без привязанного DNS-имени, поэтому ClickPipes разрешает это имя хоста в этот IP-адрес.

Интерфейс ClickPipes
Terraform
API

В ClickHouse Cloud откройте сервис и перейдите в Источники данных > ClickPipes.
Выберите источник данных, из которого необходимо принимать данные.
В разделе Настройка подключения ClickPipe включите Использовать защищённое соединение, затем нажмите + Обратная частная конечная точка и выберите Подключение сервиса GCP PSC.
Укажите URI подключения сервиса GCP, имя private DNS и Описание.
Нажмите Создать. Конечная точка последовательно переходит из состояния Provisioning в Ready. (Нативный PSC автоматически принимает подключение, поэтому состояние PendingAcceptance не отображается.)

Сопоставления пользовательского private DNS не являются атрибутом clickhouse_clickpipes_reverse_private_endpoint: ими управляет отдельный ресурс clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns, которому передаётся полный заменяющий список сопоставлений и который ссылается на конечную точку по ID:

resource "clickhouse_clickpipes_reverse_private_endpoint" "gcp_psc" {
  service_id             = var.clickhouse_service_id
  description            = "GCP PSC endpoint"
  type                   = "GCP_PSC_SERVICE_ATTACHMENT"
  gcp_service_attachment = "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>"
}

resource "clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns" "gcp_psc" {
  service_id                  = var.clickhouse_service_id
  reverse_private_endpoint_id = clickhouse_clickpipes_reverse_private_endpoint.gcp_psc.id

  mapping = [
    { private_dns_name = "<PRIVATE_DNS_NAME>" }
  ]
}

curl --silent --user $KEY_ID:$KEY_SECRET \
  -X POST -H "Content-Type: application/json" \
  https://api.clickhouse.cloud/v1/organizations/<ORG_ID>/services/<SERVICE_ID>/clickpipesReversePrivateEndpoints \
  -d '{
    "type": "GCP_PSC_SERVICE_ATTACHMENT",
    "description": "GCP PSC endpoint",
    "gcpServiceAttachment": "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>",
    "customPrivateDnsMappings": [
      { "privateDnsName": "<PRIVATE_DNS_NAME>" }
    ]
  }'

Пользовательские имена private DNS

Поскольку GCP PSC не передаёт записи DNS, сопоставление пользовательского private DNS необходимо для каждой конечной точки GCP PSC: таким образом вы всегда указываете имя private DNS источника, а ClickPipes разрешает его в статический внутренний IP-адрес конечной точки. Применяются стандартные правила именования пользовательского private DNS в ClickPipes: поддержка подстановочных шаблонов, уникальность среди обратных частных конечных точек сервиса и ограничения для зарезервированных суффиксов одинаковы для всех провайдеров. Подстановочные шаблоны особенно полезны в GCP: одно сопоставление, например *.<cluster>.<region>.managedkafka.<project>.cloud.goog, охватывает всех брокеров кластера Managed Kafka. Для GCP PSC используется только значение privateDnsName сопоставления. Поле internalDNSName не поддерживается, поскольку конечная точка PSC предоставляет статический IP-адрес без DNS-имени, к которому можно привязаться: сопоставления всегда разрешаются в этот IP-адрес.

Подтверждение подключений, принадлежащих producer

Для PSC, принадлежащего producer, добавьте проект-потребитель ClickPipes в список автоматического принятия подключения сервиса GCP, чтобы подключение принималось автоматически. В противном случае RPE останется в состоянии PendingAcceptance, пока вы не подтвердите его вручную. Чтобы принять подключение, список разрешённых consumer для подключения сервиса GCP должен содержать URI конечной точки с числовым ID (projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID>). Это значение endpointWithId ожидающего подключения в подключении сервиса GCP — выполните его описание, чтобы найти:

gcloud beta compute service-attachments describe <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --format='json(connectedEndpoints)'

Возьмите endpointWithId записи со значением PENDING в поле status, удалите префикс https://www.googleapis.com/compute/beta/ и передайте результат в --consumer-accept-list:

gcloud beta compute service-attachments update <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --consumer-accept-list=projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID> \
  --reconcile-connections

Не используйте здесь endpoint_id из ответа ClickPipes API/Terraform: это имя правила перенаправления, а не числовой идентификатор, требуемый GCP, поэтому список разрешённых подключений не будет соответствовать. Всегда используйте числовой идентификатор из ожидающего endpointWithId подключения сервиса GCP.Параметр --consumer-accept-list также перезаписывает список разрешённых подключений, а не дополняет его. Если подключение сервиса GCP уже принимает другие проекты или конечные точки, укажите их все в той же команде, иначе те, которые вы не укажете, потеряют доступ.

Управление обратными частными конечными точками

Вы можете управлять существующими обратными частными конечными точками в настройках сервиса ClickHouse Cloud:

На боковой панели найдите кнопку Settings и нажмите её.
В разделе ClickPipe reverse private endpoints нажмите Reverse private endpoints. Подробная информация об обратной частной конечной точке отображается в выдвижной панели. В этом представлении доступен только просмотр, за исключением удаления: нажмите × у конечной точки и подтвердите удаление. Удаление необратимо и нарушает работу всех ClickPipe, которые в данный момент используют эту конечную точку. Чтобы изменить сопоставления пользовательского private DNS для конечной точки, используйте API или Terraform. При обновлении заменяется весь список сопоставлений, а не добавляются новые.

Если для конечной точки отображается Rejected или Failed, прочитайте сообщение под её статусом: оно позволяет отличить подключение, отклонённое производителем, от закрытого подключения или подключения, требующего внимания. В обоих случаях обычно список разрешённых проектов подключения сервиса GCP не содержит проекта-потребителя ClickPipes. Чтобы увидеть статус конечной точки, сообщаемый GCP, выполните команду describe для connectedEndpoints вашего подключения сервиса GCP.

Ограничения

Конечная точка RPE и подключение сервиса GCP должны находиться в одном регионе GCP. Межрегиональный PSC через глобальный доступ пока не поддерживается. Если ваш источник находится в другом регионе, используйте SSH-туннелирование.
Подключение сервиса GCP PSC может быть закреплено только за одним сервисом ClickHouse Cloud одновременно; его нельзя использовать для нескольких сервисов. Чтобы перенести подключение сервиса GCP в другой сервис, обратитесь в службу поддержки ClickHouse, чтобы снять существующее закрепление.

ClickPipes for Object Storage

ClickPipes for Postgres

ClickPipes for Kafka

ClickPipes for Kinesis

ClickPipes for GCP Pub/Sub

ClickPipes for MySQL

ClickPipes for MongoDB

ClickPipes for BigQuery

Programmatic access

Networking

Other

GCP Private Service Connect для ClickPipes

Поддерживаемые схемы

Предварительные требования

Создайте обратную частную конечную точку

Пользовательские имена private DNS

Подтверждение подключений, принадлежащих producer

Управление обратными частными конечными точками

Ограничения

​Поддерживаемые схемы

​Предварительные требования

​Создайте обратную частную конечную точку

​Пользовательские имена private DNS

​Подтверждение подключений, принадлежащих producer

​Управление обратными частными конечными точками

​Ограничения

Поддерживаемые схемы

Предварительные требования

Создайте обратную частную конечную точку

Пользовательские имена private DNS

Подтверждение подключений, принадлежащих producer

Управление обратными частными конечными точками

Ограничения