Skip to main content
Você pode usar o AWS PrivateLink para estabelecer conectividade segura entre VPCs, serviços da AWS, seus sistemas on-premises e o ClickHouse Cloud sem expor o tráfego à internet pública. Este documento descreve a funcionalidade de endpoint privado reverso do ClickPipes, que permite configurar um endpoint de VPC do AWS PrivateLink.

​
Fontes de dados compatíveis do ClickPipes

A funcionalidade de endpoint privado reverso do ClickPipes é limitada aos seguintes tipos de fonte de dados:
  • Kafka
  • Postgres
  • MySQL
  • MongoDB
No caso do Kafka, o schema registry pode ser acessado pelo mesmo endpoint privado reverso que os brokers — ele não precisa ser acessível publicamente — desde que seu hostname seja resolvido para os endereços IP privados do endpoint.
O Reverse Private Endpoint do ClickPipes pode ser configurado com uma das seguintes abordagens do AWS PrivateLink:

​
Recurso da VPC

Não há suporte entre regiões.
Seus recursos da VPC podem ser acessados no ClickPipes usando PrivateLink. Essa abordagem não exige configurar um load balancer na frente da fonte de dados. A configuração do recurso pode apontar para um host específico ou para o ARN de um cluster do RDS. Esta é a opção preferida para o Postgres CDC ao fazer a ingestão de dados de um cluster do RDS. Para configurar o PrivateLink com recurso da VPC:
  1. Crie um gateway de recurso
  2. Crie uma configuração de recurso
  3. Crie um compartilhamento de recurso
1

Criar um gateway de recursos

O gateway de recursos é o ponto que recebe tráfego para os recursos especificados na sua VPC.
Recomenda-se que as sub-redes associadas ao seu gateway de recursos tenham uma quantidade suficiente de endereços IP disponíveis. Recomenda-se usar pelo menos uma máscara de sub-rede /26 para cada sub-rede.Para cada endpoint de VPC (cada Reverse Private Endpoint), a AWS exige um bloco contínuo de 16 endereços IP por sub-rede. (máscara de sub-rede /28) Se esse requisito não for atendido, o Reverse Private Endpoint passará para um estado de falha.
Você pode criar um gateway de recursos pelo console da AWS ou com o seguinte comando:
A saída conterá um ID do resource gateway, que você precisará para a próxima etapa.Antes de prosseguir, você precisará aguardar até que o resource gateway entre no estado Active. Você pode verificar o estado executando o seguinte comando:
2

Crie uma configuração de recurso da VPC

Uma configuração de recurso é associada a um gateway de recursos para tornar seu recurso acessível.Você pode criar uma configuração de recurso pelo console da AWS ou com o seguinte comando:
O tipo de configuração de recurso mais simples é uma única Resource-Configuration. Você pode configurá-la diretamente com o ARN ou compartilhar um endereço IP ou um nome de domínio publicamente resolvível.Por exemplo, para configurar com o ARN de um cluster do RDS:
Não é possível criar uma configuração de recurso para um cluster acessível publicamente. Se o cluster for acessível publicamente, será necessário modificá-lo para torná-lo privado antes de criar a configuração de recurso ou usar a lista de permissões de IPs. Para mais informações, consulte a documentação da AWS.
A saída incluirá um ARN da configuração de recurso, que será necessário para a próxima etapa. Ela também incluirá um ID da configuração de recurso, necessário para configurar uma conexão do ClickPipe com VPC resource.
3

Criar um Resource-Share

Para compartilhar seu recurso, é necessário ter um Resource-Share. Isso é feito por meio do Resource Access Manager (RAM).
Um Resource-Share só pode ser usado para um único Reverse Private Endpoint e não pode ser reutilizado. Se você precisar usar a mesma Resource-Configuration para vários Reverse Private Endpoints, deverá criar um Resource-Share separado para cada endpoint. O Resource-Share permanece na sua conta da AWS após a exclusão de um Reverse Private Endpoint e deve ser removido manualmente se não for mais necessário.
Você pode adicionar a Resource-Configuration ao Resource-Share por meio do console da AWS ou executando o comando a seguir com o ID da conta do ClickPipes 072088201116 (arn:aws:iam::072088201116:root):
A saída conterá um ARN de compartilhamento de recurso, que você precisará para configurar uma conexão do ClickPipe com VPC resource.Você está pronto para criar um ClickPipe com Reverse private endpoint usando VPC resource. Você precisará:
  • Definir VPC endpoint type como VPC Resource.
  • Definir Resource configuration ID como o ID da Resource-Configuration criada na etapa 2.
  • Definir Resource share ARN como o ARN do Resource-Share criado na etapa 3.
Para mais detalhes sobre PrivateLink com VPC resource, consulte a documentação da AWS.

​
Conectividade MSK multi-VPC

A conectividade Multi-VPC é um recurso integrado do AWS MSK que permite conectar várias VPCs a um único cluster MSK. O suporte a DNS privado já vem pronto para uso e não requer nenhuma configuração adicional. Conexões entre regiões não são compatíveis. É uma opção recomendada para o ClickPipes para MSK. Consulte o guia de primeiros passos para mais detalhes.
Atualize a política do seu cluster MSK e adicione 072088201116 aos principals autorizados no seu cluster MSK. Consulte o guia da AWS sobre associar uma política de cluster para mais detalhes.
Siga nosso guia de configuração do MSK para ClickPipes para saber como configurar a conexão.

​
VPC endpoint service

VPC endpoint service é outra opção para compartilhar sua fonte de dados com o ClickPipes. Ela exige a configuração de um NLB (Network Load Balancer) em frente à sua fonte de dados e a configuração do VPC endpoint service para usar esse NLB. O VPC endpoint service pode ser configurado com DNS privado, que ficará acessível em uma VPC do ClickPipes. O DNS privado gerenciado pelo AWS PrivateLink nem sempre é uma opção viável:
  • você não é proprietário do nome de domínio da sua fonte de dados, portanto não pode verificá-lo com a AWS
  • o provedor exige que os consumidores gerenciem a resolução de DNS, como no caso do Confluent Cloud Nesses casos, consulte DNS privado personalizado.
É a opção preferida para: Consulte o guia de primeiros passos para mais detalhes.
Adicione o ID da conta do ClickPipes 072088201116 aos principals autorizados do seu VPC endpoint service. Consulte o guia da AWS sobre gerenciamento de permissões para mais detalhes.
acesso entre regiões pode ser configurado para o ClickPipes. Adicione a região do seu ClickPipe às regiões permitidas no seu VPC endpoint service.
Para clusters MSK, consulte AWS PrivateLink VPC endpoint service for MSK cluster para uma configuração de um broker por endpoint service que usa DNS names privados personalizados.

​
DNS privado personalizado

O DNS privado personalizado está em Private Preview. Entre em contato com o suporte do ClickHouse para habilitá-lo no seu serviço.
O AWS PrivateLink fornece DNS privado gerenciado para serviços de endpoint da VPC com um domínio verificado. Alguns serviços exigem que cada consumidor gerencie a resolução de DNS na própria VPC; por exemplo, o Confluent Cloud exige que os consumidores resolvam os hostnames dos brokers para o endpoint do PrivateLink. Nesses casos, o ClickPipes oferece suporte à associação de nomes de DNS privado personalizados a um endpoint privado reverso. O ClickPipes resolve esses nomes para os endereços privados do endpoint, para que sua fonte de dados possa ser acessada pelo próprio hostname por meio de conectividade privada. O DNS privado personalizado complementa o DNS privado gerenciado — não o substitui. Se o seu serviço PrivateLink já fornece nomes de DNS privados, você não precisa de nomes personalizados. Os nomes de DNS privado personalizados são compatíveis com os tipos de endpoint VPC endpoint service e recurso da VPC. O MSK multi-VPC fornece DNS privado gerenciado pronto para uso e não oferece suporte a nomes personalizados.
Atualmente, o console do ClickHouse Cloud oferece suporte a um nome de DNS privado personalizado por endpoint privado reverso. Se você precisar gerenciar vários nomes de DNS privado personalizados no mesmo endpoint, use OpenAPI ou Terraform.
As regras a seguir se aplicam aos nomes de DNS privado personalizados:
  • Nomes exatos (kafka.internal.example.com) e nomes curinga (*.example.com) são compatíveis. Um curinga corresponde a um único rótulo DNS — por exemplo, *.abcde12345.us-east-1.aws.confluent.cloud corresponde a b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud.
  • Os nomes devem ser exclusivos em todos os endpoints privados reversos de um serviço ClickHouse, inclusive em casos de sobreposição entre nomes curinga e nomes exatos.
  • Nomes sob sufixos reservados (por exemplo, local, localhost, internal, corp, private) são rejeitados.
Para configurar nomes de DNS privado personalizados:
  • No console do ClickHouse Cloud, preencha o campo Custom private DNS name ao criar um endpoint privado reverso. O campo é exibido assim que o recurso é habilitado no seu serviço.
  • Com OpenAPI, defina customPrivateDnsMappings ao criar um endpoint privado reverso ou atualize um endpoint existente com uma solicitação PATCH. As atualizações substituem a lista completa de mapeamentos; uma lista vazia remove todos os nomes personalizados.
  • Com Terraform, use o recurso clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns para gerenciar mapeamentos em um endpoint privado reverso existente.

​
Criando um ClickPipe com endpoint privado reverso

  1. Acesse o SQL Console do seu serviço do ClickHouse Cloud.
  1. Selecione o botão Data Sources no menu à esquerda e clique em “Set up a ClickPipe”
  1. Selecione Kafka ou Postgres como fonte de dados.
  1. Selecione a opção Reverse private endpoint.
  1. Selecione um dos endpoints privados reversos existentes ou crie um novo.
Se o acesso entre regiões for necessário para o RDS, você precisará criar um VPC endpoint service, e este guia pode servir como um bom ponto de partida para a configuração.Para acesso na mesma região, a abordagem recomendada é criar um recurso da VPC.
  1. Forneça os parâmetros obrigatórios para o tipo de endpoint selecionado.
  • Para recurso da VPC, forneça o ARN do compartilhamento de configuração e o ID da configuração.
    • Para MSK multi-VPC, forneça o ARN do cluster e o método de autenticação usado com um endpoint criado.
    • Para VPC endpoint service, forneça o nome do serviço.
    • Opcionalmente, forneça um DNS privado personalizado.
  1. Clique em Create e aguarde até que o endpoint privado reverso esteja pronto. Se você estiver criando um novo endpoint, a configuração levará algum tempo. A página será atualizada automaticamente assim que o endpoint estiver pronto. O VPC endpoint service pode exigir que a solicitação de conexão seja aceita no console da AWS.
  1. Quando o endpoint estiver pronto, você poderá usar um DNS name para se conectar à fonte de dados. Na lista de endpoints, você pode ver o DNS name do endpoint disponível. Ele pode ser um DNS name provisionado internamente pelo ClickPipes, um DNS privado fornecido por um serviço PrivateLink ou um nome DNS privado personalizado. O DNS name não é um endereço de rede completo. Adicione a porta de acordo com a fonte de dados. A connection string do MSK pode ser acessada no console da AWS. Para ver a lista completa de DNS names, acesse as configurações do serviço do ClickHouse Cloud.

​
Gerenciando endpoints privados reversos existentes

Você pode gerenciar endpoints privados reversos existentes nas configurações do serviço ClickHouse Cloud:
  1. Na barra lateral, localize o botão Settings e clique nele.
  2. Clique em Reverse private endpoints na seção ClickPipe reverse private endpoints. Informações detalhadas sobre o endpoint privado reverso são exibidas no painel lateral. O endpoint pode ser removido aqui. Isso afetará todos os ClickPipes que usam esse endpoint.
O suporte ao AWS PrivateLink é limitado a regiões específicas da AWS no ClickPipes. Consulte a lista de regiões do ClickPipes para ver quais regiões estão disponíveis. Essa restrição não se aplica ao VPC endpoint service do PrivateLink com conectividade entre regiões habilitada.

​
Limitações

Não há garantia de que os endpoints do AWS PrivateLink para o ClickPipes criados no ClickHouse Cloud sejam criados na mesma região da AWS que o serviço do ClickHouse Cloud. Atualmente, apenas o VPC endpoint service oferece suporte à conectividade entre regiões. Os endpoints privados são vinculados a um serviço específico do ClickHouse e não podem ser transferidos entre serviços. Vários ClickPipes de um único serviço do ClickHouse podem reutilizar o mesmo endpoint. O AWS MSK oferece suporte a apenas um PrivateLink (endpoint de VPC) por cluster do MSK, por tipo de autenticação (SASL_IAM ou SASL_SCRAM). Como resultado, vários serviços do ClickHouse Cloud ou organizações não podem criar conexões PrivateLink separadas para o mesmo cluster do MSK usando o mesmo tipo de autenticação.

​
Limpeza automática de endpoints inativos

Endpoints privados reversos que permanecem em um estado terminal são removidos automaticamente após um período de carência definido. Isso garante que endpoints não utilizados ou configurados incorretamente não permaneçam indefinidamente. Os seguintes períodos de carência se aplicam com base no status do endpoint: Quando o período de carência termina, o endpoint e todos os recursos associados são excluídos automaticamente. Para evitar a remoção automática, resolva o problema subjacente antes que o período de carência expire. Por exemplo, aceite uma solicitação de conexão pendente no console da AWS ou recrie o endpoint se ele tiver entrado em estado de falha.
Última modificação em 24 de julho de 2026