Skip to main content
Vous pouvez utiliser AWS PrivateLink pour établir une connectivité sécurisée entre des VPC, des services AWS, vos systèmes sur site et ClickHouse Cloud, sans exposer le trafic à l’Internet public. Ce document présente la fonctionnalité de Reverse Private Endpoint de ClickPipes qui permet de configurer un endpoint VPC AWS PrivateLink.

​
Sources de données ClickPipes prises en charge

La fonctionnalité Reverse Private Endpoint de ClickPipes est limitée aux types de sources de données suivants :
  • Kafka
  • Postgres
  • MySQL
  • MongoDB
Pour Kafka, le schema registry est accessible via le même reverse private endpoint que les brokers — il n’a pas besoin d’être accessible publiquement — à condition que son hostname soit résolu vers les adresses IP privées de l’endpoint.
Le Reverse Private Endpoint de ClickPipes peut être configuré selon l’une des approches AWS PrivateLink suivantes :

​
Ressource VPC

L’accès inter-région n’est pas pris en charge.
Vos ressources VPC sont accessibles dans ClickPipes à l’aide de PrivateLink. Cette approche ne nécessite pas de configurer un load balancer devant votre source de données. La configuration de la ressource peut cibler un hôte spécifique ou l’ARN d’un cluster RDS. C’est l’option privilégiée pour Postgres CDC lors de l’ingestion de données depuis un cluster RDS. Pour configurer PrivateLink avec une ressource VPC :
  1. Créez une passerelle de ressource
  2. Créez une configuration de ressource
  3. Créez un partage de ressource
1

Créer une passerelle de ressources

La passerelle de ressources est le point d’entrée qui reçoit le trafic destiné aux ressources spécifiées dans votre VPC.
Il est recommandé que les sous-réseaux associés à votre passerelle de ressources disposent d’un nombre suffisant d’adresses IP disponibles. Il est recommandé d’utiliser au minimum un masque de sous-réseau /26 pour chaque sous-réseau.Pour chaque VPC endpoint (chaque Reverse Private Endpoint), AWS exige un bloc consécutif de 16 adresses IP par sous-réseau. (masque de sous-réseau /28) Si cette exigence n’est pas respectée, le Reverse Private Endpoint passera à l’état d’échec.
Vous pouvez créer une passerelle de ressources depuis la console AWS ou à l’aide de la commande suivante :
Le résultat contiendra un ID de la resource gateway, dont vous aurez besoin pour l’étape suivante.Avant de pouvoir continuer, vous devrez attendre que la resource gateway passe à l’état Active. Vous pouvez vérifier cet état en exécutant la commande suivante :
2

Créer une configuration de ressource VPC

La configuration de ressource est associée à une passerelle de ressources afin de rendre votre ressource accessible.Vous pouvez créer une configuration de ressource depuis la console AWS ou à l’aide de la commande suivante :
Le type de configuration de ressource le plus simple est une Resource-Configuration unique. Vous pouvez la configurer directement à l’aide de l’ARN, ou partager une adresse IP ou un nom de domaine publiquement résolvable.Par exemple, pour configurer avec l’ARN d’un cluster RDS :
Vous ne pouvez pas créer de configuration de ressource pour un cluster accessible au public. Si votre cluster est accessible au public, vous devez le modifier pour le rendre privé avant de créer la configuration de ressource, ou utiliser à la place la liste d’autorisation IP. Pour plus d’informations, consultez la documentation AWS.
La sortie contiendra un ARN de configuration de ressource, dont vous aurez besoin à l’étape suivante. Elle contiendra également un ID de configuration de ressource, dont vous aurez besoin pour configurer une ClickPipe connection avec VPC resource.
3

Créer un Resource-Share

Le partage de votre ressource nécessite un Resource-Share. Cela se fait via le Resource Access Manager (RAM).
Un Resource-Share ne peut être utilisé que pour un seul Reverse Private Endpoint et ne peut pas être réutilisé. Si vous devez utiliser la même Resource-Configuration pour plusieurs Reverse Private Endpoints, vous devez créer un Resource-Share distinct pour chaque endpoint. Le Resource-Share reste dans votre compte AWS après la suppression d’un Reverse Private Endpoint et doit être supprimé manuellement s’il n’est plus nécessaire.
Vous pouvez ajouter la Resource-Configuration au Resource-Share via la console AWS ou en exécutant la commande suivante avec l’ID du compte ClickPipes 072088201116 (arn:aws:iam::072088201116:root):
Le résultat contiendra un ARN de partage de ressources, dont vous aurez besoin pour configurer une connexion ClickPipe avec VPC resource.Vous êtes maintenant prêt à créer un ClickPipe avec Reverse private endpoint en utilisant VPC resource. Vous devrez :
  • Définir VPC endpoint type sur VPC Resource.
  • Définir Resource configuration ID sur l’ID de la configuration de ressource créée à l’étape 2.
  • Définir Resource share ARN sur l’ARN du partage de ressources créé à l’étape 3.
Pour plus de détails sur PrivateLink avec VPC resource, consultez la documentation AWS.

​
Connectivité MSK multi-VPC

La connectivité Multi-VPC est une fonctionnalité intégrée d’AWS MSK qui permet de connecter plusieurs VPC à un même cluster MSK. La prise en charge du DNS privé est disponible par défaut et ne nécessite aucune configuration supplémentaire. La connectivité inter-régions n’est pas prise en charge. Il s’agit d’une option recommandée pour ClickPipes for MSK. Consultez le guide Getting Started pour plus de détails.
Mettez à jour la politique de votre cluster MSK et ajoutez 072088201116 à la liste des Principals autorisés pour votre cluster MSK. Consultez le guide AWS sur l’attachement d’une politique de cluster pour plus de détails.
Suivez notre guide de configuration MSK pour ClickPipes pour savoir comment configurer la connexion.

​
VPC endpoint service

Le VPC endpoint service est une autre solution pour partager votre source de données avec ClickPipes. Il nécessite de mettre en place un NLB (Network Load Balancer) devant votre source de données et de configurer le VPC endpoint service pour qu’il utilise ce NLB. Le VPC endpoint service peut être configuré avec un DNS privé, qui sera accessible depuis un VPC ClickPipes. Le DNS privé géré par AWS PrivateLink n’est pas toujours une option viable :
  • vous ne possédez pas le nom de domaine de votre source de données, vous ne pouvez donc pas le faire vérifier auprès d’AWS
  • le fournisseur exige que les consommateurs gèrent la résolution DNS, comme le fait Confluent Cloud Dans ces cas, consultez DNS privé personnalisé.
C’est l’option privilégiée pour : Consultez le guide de prise en main pour plus de détails.
Ajoutez l’ID de compte ClickPipes 072088201116 à la liste des principals autorisés de votre VPC endpoint service. Consultez le guide AWS sur la gestion des autorisations pour plus de détails.
L’accès inter-région peut être configuré pour ClickPipes. Ajoutez la région de votre ClickPipe aux régions autorisées dans votre VPC endpoint service.
Pour les clusters MSK, consultez AWS PrivateLink VPC endpoint service for MSK cluster pour une configuration avec un broker par endpoint service qui utilise des noms DNS privés personnalisés.

​
DNS privé personnalisé

Le DNS privé personnalisé est en Private Preview. Contactez l’équipe de support ClickHouse pour l’activer sur votre service.
AWS PrivateLink fournit un DNS privé géré pour les services VPC endpoint avec un domaine vérifié. Certains services exigent que chaque consommateur gère la résolution DNS dans son propre VPC. Par exemple, Confluent Cloud demande aux consommateurs de résoudre les noms d’hôte des brokers vers l’endpoint PrivateLink. Dans ces cas, ClickPipes prend en charge l’association de noms DNS privés personnalisés à un Reverse Private Endpoint. ClickPipes résout ces noms vers les adresses privées de l’endpoint, afin que votre source de données soit accessible via son propre nom d’hôte au moyen d’une connectivité privée. Le DNS privé personnalisé complète le DNS privé géré — il ne le remplace pas. Si votre service PrivateLink fournit déjà des noms DNS privés, vous n’avez pas besoin de noms personnalisés. Les noms DNS privés personnalisés sont pris en charge pour les types d’endpoint VPC endpoint service et ressource VPC. MSK multi-VPC fournit un DNS privé géré prêt à l’emploi et ne prend pas en charge les noms personnalisés.
La ClickHouse Cloud console prend actuellement en charge un seul nom DNS privé personnalisé par Reverse Private Endpoint. Si vous devez gérer plusieurs noms DNS privés personnalisés sur le même endpoint, utilisez OpenAPI ou Terraform.
Les règles suivantes s’appliquent aux noms DNS privés personnalisés :
  • Les noms exacts (kafka.internal.example.com) et les noms génériques (*.example.com) sont pris en charge. Un caractère générique correspond à un seul label DNS — par exemple, *.abcde12345.us-east-1.aws.confluent.cloud correspond à b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud.
  • Les noms doivent être uniques sur l’ensemble des Reverse Private Endpoints d’un service ClickHouse, y compris en cas de chevauchement entre noms génériques et noms exacts.
  • Les noms utilisant des suffixes réservés (par exemple, local, localhost, internal, corp, private) sont rejetés.
Pour configurer des noms DNS privés personnalisés :
  • Dans la ClickHouse Cloud console, renseignez le champ Custom private DNS name lors de la création d’un Reverse Private Endpoint. Le champ s’affiche une fois que la fonctionnalité est activée pour votre service.
  • Avec OpenAPI, définissez customPrivateDnsMappings lors de la création d’un Reverse Private Endpoint, ou mettez à jour un endpoint existant avec une requête PATCH. Les mises à jour remplacent la liste complète des mappings ; une liste vide supprime tous les noms personnalisés.
  • Avec Terraform, utilisez la ressource clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns pour gérer les mappings sur un Reverse Private Endpoint existant.

​
Création d’un ClickPipe avec reverse private endpoint

  1. Accédez à la SQL Console de votre service ClickHouse Cloud.
  1. Sélectionnez le bouton Data Sources dans le menu de gauche, puis cliquez sur “Set up a ClickPipe”
  1. Sélectionnez Kafka ou Postgres comme source de données.
  1. Sélectionnez l’option Reverse private endpoint.
  1. Sélectionnez l’un des reverse private endpoints existants ou créez-en un nouveau.
Si un accès cross-region est nécessaire pour RDS, vous devez créer un VPC endpoint service, et ce guide constitue un bon point de départ pour la configuration.Pour un accès dans la même Region, il est recommandé de créer une ressource VPC.
  1. Fournissez les paramètres requis pour le type d’endpoint sélectionné.
  • Pour une ressource VPC, fournissez l’ARN de partage de configuration et l’ID de configuration.
    • Pour MSK multi-VPC, fournissez l’ARN du cluster et la méthode d’authentification utilisée avec l’endpoint créé.
    • Pour un VPC endpoint service, fournissez le nom du service.
    • Vous pouvez également fournir un nom DNS privé personnalisé.
  1. Cliquez sur Create et attendez que le reverse private endpoint soit prêt. Si vous créez un nouvel endpoint, sa configuration prendra un certain temps. La page s’actualisera automatiquement une fois l’endpoint prêt. Le VPC endpoint service peut nécessiter l’acceptation de la demande de connexion dans votre console AWS.
  1. Une fois l’endpoint prêt, vous pouvez utiliser un nom DNS pour vous connecter à la source de données. Dans la liste des endpoints, vous pouvez voir le nom DNS de l’endpoint disponible. Il peut s’agir d’un nom DNS provisionné en interne par ClickPipes, d’un nom DNS privé fourni par un service PrivateLink, ou d’un nom DNS privé personnalisé. Un nom DNS n’est pas une adresse réseau complète. Ajoutez le port en fonction de la source de données. La chaîne de connexion MSK est accessible dans la console AWS. Pour voir la liste complète des noms DNS, accédez aux paramètres du service Cloud.

​
Gestion des Reverse Private Endpoints existants

Vous pouvez gérer les Reverse Private Endpoints existants dans les paramètres du service ClickHouse Cloud :
  1. Dans la barre latérale, repérez le bouton Settings et cliquez dessus.
  2. Cliquez sur Reverse private endpoints dans la section ClickPipe reverse private endpoints. Les informations détaillées du Reverse Private Endpoint s’affichent dans le panneau latéral. L’endpoint peut être supprimé ici. Cela affectera tous les ClickPipes qui utilisent cet endpoint.
La prise en charge d’AWS PrivateLink pour ClickPipes est limitée à certaines régions AWS. Veuillez consulter la liste des régions ClickPipes pour connaître les régions disponibles. Cette restriction ne s’applique pas à un endpoint service VPC PrivateLink avec la connectivité inter-région activée.

​
Limitations

Les endpoints AWS PrivateLink pour ClickPipes créés dans ClickHouse Cloud ne sont pas forcément créés dans la même région AWS que le service ClickHouse Cloud. Actuellement, seul le VPC endpoint service prend en charge la connectivité cross-region. Les private endpoints sont liés à un service ClickHouse spécifique et ne sont pas transférables d’un service à l’autre. Plusieurs ClickPipes pour un même service ClickHouse peuvent réutiliser le même endpoint. AWS MSK ne prend en charge qu’un seul PrivateLink (VPC endpoint) par MSK cluster et par type d’authentification (SASL_IAM ou SASL_SCRAM). Par conséquent, plusieurs services ClickHouse Cloud ou organizations ne peuvent pas créer de connexions PrivateLink distinctes vers le même MSK cluster en utilisant le même type d’authentification.

​
Nettoyage automatique des endpoints inactifs

Les endpoints privés inversés qui restent dans un état terminal sont automatiquement supprimés après un délai de grâce défini. Cela évite que des endpoints inutilisés ou mal configurés ne persistent indéfiniment. Les délais de grâce suivants s’appliquent selon le statut de l’endpoint : Une fois le délai de grâce écoulé, l’endpoint et toutes les ressources associées sont automatiquement supprimés. Pour éviter la suppression automatique, résolvez le problème sous-jacent avant l’expiration du délai de grâce. Par exemple, acceptez une demande de connexion en attente dans votre console AWS, ou recréez l’endpoint s’il est passé à l’état Failed.
Dernière modification le 24 juillet 2026