Dans ce guide, nous vous expliquons comment créer votre premier Kafka ClickPipe.Les Kafka ClickPipes peuvent être déployés et gérés manuellement via la ClickPipes UI, ainsi que de manière programmatique à l’aide d’OpenAPI et de Terraform.
1
Accédez aux sources de données
Sélectionnez le bouton
Data Sources dans le menu de gauche, puis cliquez sur “Set up a ClickPipe”.2
Sélectionner une source de données
Sélectionnez votre source de données Kafka dans la liste.
3
Configurer la source de données
Remplissez le formulaire en indiquant un nom pour votre ClickPipe, une description (facultative), vos identifiants et d’autres informations de connexion.
4
Configurer un registre de schémas (facultatif)
Un schéma valide est nécessaire pour les topics Avro et Protobuf. Consultez les registres de schémas pour plus de détails sur la configuration d’un registre de schémas.
5
Configurer un Reverse Private Endpoint (facultatif)
Configurez un Reverse Private Endpoint pour permettre à ClickPipes de se connecter à votre cluster Kafka via AWS PrivateLink.
Consultez notre documentation sur AWS PrivateLink pour plus d’informations.
6
Configurer le tunnel SSH (facultatif)
Vous pouvez utiliser un tunnel SSH si votre broker Kafka n’est pas accessible publiquement. Au lieu de se connecter directement, ClickPipes établit une connexion SSH vers un hôte bastion (un serveur de votre réseau accessible publiquement), puis y fait transiter le trafic jusqu’à votre broker Kafka sur votre réseau privé.
- Activez l’option « SSH Tunnel ».
- Renseignez les informations de connexion SSH :
- SSH Host : le nom d’hôte ou l’adresse IP de votre hôte bastion — il s’agit du serveur accessible publiquement qui sert de passerelle vers votre réseau privé.
- SSH Port : le port SSH de l’hôte bastion (par défaut
22). - SSH User : le nom d’utilisateur à utiliser pour l’authentification sur l’hôte bastion.
- Pour utiliser l’authentification par clé, cliquez sur « Révoquer et régénérer la paire de clés » afin de générer une nouvelle paire de clés, puis copiez la clé publique générée sur votre serveur SSH dans
~/.ssh/authorized_keys. - Cliquez sur « Verify Connection » pour vérifier la connexion.
Assurez-vous d’autoriser les ClickPipes IP addresses dans les règles de votre pare-feu pour l’hôte bastion SSH afin que ClickPipes puisse établir le tunnel SSH.
7
Sélectionnez votre topic
Sélectionnez votre topic et l’UI affichera un exemple de document de ce topic.
8
Configurez votre table de destination
À l’étape suivante, vous pouvez choisir d’ingérer les données dans une nouvelle table ClickHouse ou de réutiliser une table existante. Suivez les instructions à l’écran pour modifier le nom de la table, son schéma et ses paramètres. Un aperçu en temps réel de vos modifications s’affiche dans le tableau d’exemple en haut de la page.Vous pouvez également personnaliser les paramètres avancés à l’aide des options proposées
9
Configurer les autorisations
ClickPipes créera un utilisateur dédié pour écrire des données dans une table de destination. Vous pouvez sélectionner un rôle pour cet utilisateur interne en utilisant un rôle personnalisé ou l’un des rôles prédéfinis :
Full access: accorde un accès complet au cluster. Cela peut être utile si vous utilisez une vue matérialisée ou un Dictionary avec la table de destination.Only destination table: accorde uniquement les autorisationsINSERTsur la table de destination.
10
Configuration terminée
Cliquez sur “Create ClickPipe” pour créer et exécuter votre ClickPipe. Il sera alors répertorié dans la section Data Sources.