Skip to main content
Вы можете использовать AWS PrivateLink для организации защищённого подключения между VPC, сервисами AWS, вашими системами в собственной инфраструктуре и ClickHouse Cloud без вывода трафика в публичный Интернет. В этом документе описана функциональность обратной частной конечной точки ClickPipes, которая позволяет настроить VPC-конечную точку AWS PrivateLink.

​
Поддерживаемые источники данных ClickPipes

Функция обратной частной конечной точки в ClickPipes доступна только для следующих типов источников данных:
  • Kafka
  • Postgres
  • MySQL
  • MongoDB
Для Kafka доступ к реестру схем можно получить через ту же обратную частную конечную точку, что и к брокерам — публичный доступ для него не требуется, если его имя хоста разрешается в частные IP-адреса этой конечной точки.
Обратную частную конечную точку ClickPipes можно настроить с помощью одного из следующих механизмов AWS PrivateLink:

​
Ресурс VPC

Межрегиональная работа не поддерживается.
К ресурсам VPC можно получить доступ в ClickPipes с помощью PrivateLink. Этот подход не требует настраивать балансировщик нагрузки перед источником данных. Конфигурацию ресурса можно привязать к конкретному хосту или ARN кластера RDS. Это предпочтительный вариант для Postgres CDC при ингестии данных из кластера RDS. Чтобы настроить PrivateLink для ресурса VPC:
  1. Создайте шлюз ресурса
  2. Создайте конфигурацию ресурса
  3. Создайте общий доступ к ресурсу
1

Создайте шлюз ресурсов

Шлюз ресурсов — это точка, которая принимает трафик для указанных ресурсов в вашей VPC.
Для подсетей, подключенных к шлюзу ресурсов, рекомендуется, чтобы было доступно достаточное количество IP-адресов. Рекомендуется использовать для каждой подсети маску не менее /26.Для каждой конечной точки VPC (каждой обратной частной конечной точки) AWS требует непрерывный блок из 16 IP-адресов в каждой подсети. (маска подсети /28) Если это требование не выполнено, обратная частная конечная точка перейдёт в состояние ошибки.
Вы можете создать шлюз ресурсов в консоли AWS или с помощью следующей команды:
В выходных данных будет указан идентификатор resource gateway, который понадобится на следующем шаге.Прежде чем продолжить, дождитесь, пока resource gateway перейдёт в состояние Active. Проверить его состояние можно, выполнив следующую команду:
2

Создайте конфигурацию ресурса VPC

Конфигурация ресурса связывается со шлюзом ресурса, чтобы предоставить доступ к вашему ресурсу.Вы можете создать конфигурацию ресурса в консоли AWS или с помощью следующей команды:
Самый простой тип конфигурации ресурса — это одна Resource-Configuration. Её можно настроить напрямую по ARN либо предоставить общий доступ к IP-адресу или доменному имени, доступному для публичного разрешения.Например, чтобы настроить её с использованием ARN кластера RDS:
Нельзя создать конфигурацию ресурса для общедоступного кластера. Если ваш кластер общедоступен, перед созданием конфигурации ресурса необходимо сделать его приватным или вместо этого использовать список разрешённых IP-адресов. Подробнее см. в документации AWS.
В выходных данных будут указаны ARN конфигурации ресурса и ID конфигурации ресурса. ARN понадобится на следующем шаге, а ID — для настройки подключения ClickPipe с ресурсом VPC.
3

Создайте Resource-Share

Чтобы открыть общий доступ к ресурсу, требуется Resource-Share. Это делается через Resource Access Manager (RAM).
Resource-Share можно использовать только для одной обратной частной конечной точки; повторное использование невозможно. Если одну и ту же Resource-Configuration нужно использовать для нескольких обратных частных конечных точек, необходимо создать отдельный Resource-Share для каждой конечной точки. Resource-Share остается в вашей учетной записи AWS после удаления обратной частной конечной точки и, если он больше не нужен, его необходимо удалить вручную.
Вы можете добавить Resource-Configuration в Resource-Share через консоль AWS или выполнив следующую команду с ID учетной записи ClickPipes 072088201116 (arn:aws:iam::072088201116:root):
В выходных данных будет указан ARN общего доступа к ресурсу, который понадобится для настройки подключения ClickPipe с ресурсом VPC.Теперь вы готовы создать ClickPipe с обратной частной конечной точкой, используя ресурс VPC. Для этого необходимо:
  • Установить для VPC endpoint type значение VPC Resource.
  • Установить для Resource configuration ID идентификатор Resource-Configuration, созданной на шаге 2.
  • Установить для Resource share ARN ARN общего доступа к ресурсу Resource-Share, созданного на шаге 3.
Подробнее о PrivateLink с ресурсом VPC см. в документации AWS.

​
Подключение MSK multi-VPC

Подключение Multi-VPC — это встроенная возможность AWS MSK, которая позволяет подключать несколько VPC к одному кластеру MSK. Поддержка Private DNS доступна из коробки и не требует дополнительной настройки. Межрегиональное подключение не поддерживается. Это рекомендуемый вариант для ClickPipes for MSK. Подробности см. в руководстве Начало работы.
Обновите политику кластера MSK и добавьте 072088201116 в список разрешённых субъектов для вашего кластера MSK. Подробности см. в руководстве AWS по присоединению политики кластера.
Следуйте нашему руководству по настройке MSK для ClickPipes, чтобы узнать, как настроить подключение.

​
VPC endpoint service

VPC endpoint service — ещё один способ предоставить ClickPipes доступ к вашему источнику данных. Для этого нужно настроить NLB (Network Load Balancer) перед вашим источником данных и настроить VPC endpoint service на использование NLB. VPC endpoint service можно настроить с private DNS, который будет доступен в VPC ClickPipes. Управляемый private DNS AWS PrivateLink не всегда является подходящим вариантом:
  • вы не владеете доменным именем вашего источника данных, поэтому не можете подтвердить его в AWS
  • провайдер требует, чтобы consumers сами управляли DNS resolution, как в Confluent Cloud В этих случаях см. раздел пользовательский private DNS.
Это предпочтительный вариант для: Дополнительные сведения см. в руководстве по Началу работы.
Добавьте ID аккаунта ClickPipes 072088201116 в список разрешённых субъектов для вашего VPC endpoint service. Дополнительные сведения см. в руководстве AWS по управлению разрешениями.
Для ClickPipes можно настроить межрегиональный доступ. Добавьте регион вашего ClickPipe в список разрешённых регионов в вашем VPC endpoint service.
Для кластеров MSK см. AWS PrivateLink VPC endpoint service for MSK cluster для конфигурации с отдельным broker для каждого endpoint service, использующей пользовательские private DNS-имена.

​
Пользовательский private DNS

Пользовательский private DNS находится в закрытой предварительной версии. Обратитесь в службу поддержки ClickHouse, чтобы включить его для вашего сервиса.
AWS PrivateLink предоставляет управляемый private DNS для сервисов конечных точек VPC с подтвержденным доменом. Некоторые сервисы требуют, чтобы каждый потребитель самостоятельно управлял DNS-разрешением в своей VPC; например, Confluent Cloud требует, чтобы потребители разрешали DNS-имена брокеров в конечную точку PrivateLink. Для таких случаев ClickPipes поддерживает привязку пользовательских имен private DNS к обратной частной конечной точке. ClickPipes разрешает эти имена в частные адреса конечной точки, чтобы ваш источник данных был доступен по собственному hostname через частное подключение. Пользовательский private DNS дополняет управляемый private DNS — он его не заменяет. Если ваш сервис PrivateLink уже предоставляет имена private DNS, пользовательские имена вам не нужны. Пользовательские имена private DNS поддерживаются для типов конечных точек VPC endpoint service и ресурс VPC. MSK multi-VPC предоставляет управляемый private DNS из коробки и не поддерживает пользовательские имена.
Консоль ClickHouse Cloud в настоящее время поддерживает одно пользовательское имя private DNS на одну обратную частную конечную точку. Если вам нужно управлять несколькими пользовательскими именами private DNS для одной и той же конечной точки, используйте OpenAPI или Terraform.
К пользовательским именам private DNS применяются следующие правила:
  • Поддерживаются точные имена (kafka.internal.example.com) и подстановочные имена (*.example.com). Подстановочное имя соответствует одной DNS-метке — например, *.abcde12345.us-east-1.aws.confluent.cloud соответствует b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud.
  • Имена должны быть уникальными среди всех обратных частных конечных точек сервиса ClickHouse, включая пересечения между подстановочными и точными именами.
  • Имена с зарезервированными суффиксами (например, local, localhost, internal, corp, private) отклоняются.
Чтобы настроить пользовательские имена private DNS:
  • В консоли ClickHouse Cloud заполните поле Custom private DNS name при создании обратной частной конечной точки. Поле отображается только после того, как эта возможность будет включена для вашего сервиса.
  • С помощью OpenAPI задайте customPrivateDnsMappings при создании обратной частной конечной точки или обновите существующую конечную точку запросом PATCH. При обновлении заменяется весь список сопоставлений; пустой список удаляет все пользовательские имена.
  • С помощью Terraform используйте ресурс clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns для управления сопоставлениями в существующей обратной частной конечной точке.

​
Создание ClickPipe с обратной частной конечной точкой

  1. Откройте SQL Console для вашего сервиса ClickHouse Cloud.
  1. Выберите кнопку Data Sources в меню слева и нажмите «Set up a ClickPipe»
  1. Выберите Kafka или Postgres в качестве источника данных.
  1. Выберите опцию Reverse private endpoint.
  1. Выберите любую из существующих обратных частных конечных точек или создайте новую.
Если для RDS требуется межрегиональный доступ, необходимо создать VPC endpoint service, и это руководство может служить хорошей отправной точкой для настройки.Для доступа в пределах одного региона рекомендуется создавать ресурс VPC.
  1. Укажите обязательные параметры для выбранного типа конечной точки.
  • Для ресурса VPC укажите ARN общего доступа к конфигурации и ID конфигурации.
    • Для MSK multi-VPC укажите ARN кластера и метод аутентификации, используемый с созданной конечной точкой.
    • Для VPC endpoint service укажите Service name.
    • При необходимости укажите пользовательское частное DNS-имя.
  1. Нажмите Create и дождитесь, пока обратная частная конечная точка перейдёт в состояние готовности. Если вы создаёте новую конечную точку, её настройка займёт некоторое время. Страница автоматически обновится, как только конечная точка будет готова. Для VPC endpoint service может потребоваться принять запрос на подключение в консоли AWS.
  1. Когда конечная точка будет готова, вы сможете использовать DNS-имя для подключения к источнику данных. В списке конечных точек вы увидите DNS-имя доступной конечной точки. Это может быть внутреннее DNS-имя, созданное ClickPipes, частное DNS-имя, предоставленное сервисом PrivateLink, или пользовательское частное DNS-имя. DNS-имя не является полным сетевым адресом. Добавьте порт в соответствии с источником данных. Строку подключения MSK можно получить в консоли AWS. Чтобы увидеть полный список DNS-имён, откройте настройки сервиса ClickHouse Cloud.

​
Управление существующими обратными частными конечными точками

Управлять существующими обратными частными конечными точками можно в настройках сервиса ClickHouse Cloud:
  1. На боковой панели найдите кнопку Settings и нажмите ее.
  2. В разделе ClickPipe reverse private endpoints нажмите Reverse private endpoints. Подробная информация об обратной частной конечной точке отображается на выдвижной панели. Здесь можно удалить конечную точку. Это повлияет на все ClickPipes, использующие эту конечную точку.
Поддержка AWS PrivateLink для ClickPipes ограничена определенными регионами AWS. Список доступных регионов см. в списке регионов ClickPipes. Это ограничение не распространяется на VPC endpoint service PrivateLink с включенным межрегиональным подключением.

​
Ограничения

Не гарантируется, что конечные точки AWS PrivateLink для ClickPipes, созданные в ClickHouse Cloud, будут созданы в том же регионе AWS, что и сервис ClickHouse Cloud. В настоящее время только VPC endpoint service поддерживает межрегиональное подключение. Частные конечные точки привязаны к конкретному сервису ClickHouse и не могут быть перенесены между сервисами. Несколько ClickPipes для одного сервиса ClickHouse могут повторно использовать одну и ту же конечную точку. AWS MSK поддерживает только один PrivateLink (VPC endpoint) для каждого кластера MSK и каждого типа аутентификации (SASL_IAM или SASL_SCRAM). В результате несколько сервисов ClickHouse Cloud или организаций не могут создавать отдельные подключения PrivateLink к одному и тому же кластеру MSK, используя один и тот же тип аутентификации.

​
Автоматическая очистка неактивных конечных точек

Обратные частные конечные точки, остающиеся в терминальном состоянии, автоматически удаляются после заданного льготного периода. Это позволяет избежать бессрочного существования неиспользуемых или неверно настроенных конечных точек. В зависимости от статуса конечной точки действуют следующие льготные периоды: После истечения льготного периода конечная точка и все связанные с ней ресурсы автоматически удаляются. Чтобы предотвратить автоматическое удаление, устраните основную проблему до истечения льготного периода. Например, примите ожидающий запрос на подключение в консоли AWS или заново создайте конечную точку, если она перешла в состояние ошибки.
Последнее изменение 24 июля 2026 г.