Skip to main content
Estuary est une plateforme de données qui combine avec souplesse des données en temps réel et par lots dans des pipelines ETL faciles à mettre en place. Avec une sécurité de niveau entreprise et différentes options de déploiement, Estuary permet de créer des flux de données fiables à partir de sources SaaS, de bases de données et de streaming vers diverses destinations, dont ClickHouse. Estuary se connecte à ClickHouse via le Kafka ClickPipe. Vous n’avez pas besoin de maintenir votre propre écosystème Kafka avec cette intégration.

​
Guide de configuration

Prérequis
  • Un compte Estuary
  • Une ou plusieurs captures dans Estuary, qui extraient les données des sources souhaitées
  • Un compte ClickHouse Cloud avec les autorisations ClickPipe
1

Créer une matérialisation Estuary

Pour transférer des données depuis vos collections source dans Estuary vers ClickHouse, vous devez d’abord créer une matérialisation.
  1. Dans le tableau de bord d’Estuary, accédez à la page Destinations.
  2. Cliquez sur + New Materialization.
  3. Sélectionnez le connecteur ClickHouse.
  4. Renseignez les sections Materialization, Endpoint et Source Collections :
    • Materialization Details : indiquez un nom unique pour votre matérialisation et choisissez un data plane (fournisseur cloud et région)
    • Endpoint Config : indiquez un Auth Token sécurisé
    • Source Collections : associez une capture existante ou sélectionnez les collections de données à exposer à ClickHouse
  5. Cliquez sur Next, puis sur Save and Publish.
  6. Sur la page des détails de la matérialisation, notez le nom complet de votre matérialisation ClickHouse. Il ressemblera à ceci : your-tenant/your-unique-name/dekaf-clickhouse.
Estuary commencera à diffuser les collections sélectionnées sous forme de messages Kafka. ClickHouse peut accéder à ces données via un Kafka ClickPipe à l’aide des informations du broker Estuary et du jeton d’authentification que vous avez fourni.
2

Saisir les informations de connexion Kafka

Configurez un nouveau Kafka ClickPipe dans ClickHouse et saisissez les informations de connexion :
  1. Dans votre tableau de bord ClickHouse Cloud, sélectionnez Data sources.
  2. Créez un nouveau ClickPipe.
  3. Choisissez Apache Kafka comme source de données.
  4. Saisissez les informations de connexion Kafka à l’aide des informations de broker et de registry d’Estuary :
    • Indiquez un nom pour votre ClickPipe
    • Pour le broker, utilisez : dekaf.estuary-data.com:9092
    • Laissez l’authentification sur l’option par défaut SASL/PLAIN
    • Pour l’utilisateur, saisissez le nom complet de votre matérialisation dans Estuary (par exemple your-tenant/your-unique-name/dekaf-clickhouse)
    • Pour le mot de passe, saisissez le jeton d’authentification fourni pour votre matérialisation
  5. Activez l’option de schema registry
    • Pour l’URL du schéma, utilisez : https://dekaf.estuary-data.com
    • La clé du schéma sera la même que l’utilisateur du broker (le nom de votre matérialisation)
    • Le secret sera le même que le mot de passe du broker (votre jeton d’authentification)
3

Configurer les données entrantes

  1. Sélectionnez l’un de vos topics Kafka (l’une de vos collections de données dans Estuary).
  2. Choisissez un offset.
  3. ClickHouse détectera les messages du topic. Vous pourrez ensuite passer à la section Parse information pour configurer les informations de votre table.
  4. Choisissez de créer une nouvelle table ou de charger les données dans une table existante correspondante.
  5. Associez les champs source aux colonnes de la table, en vérifiant le nom de la colonne, le type et si elle accepte la valeur NULL.
  6. Dans la dernière section Details and settings, vous pouvez sélectionner les autorisations de votre utilisateur de base de données dédié.
Une fois la configuration validée, créez votre ClickPipe.ClickHouse provisionnera votre nouvelle source de données et commencera à consommer les messages depuis Estuary. Créez autant de ClickPipes que nécessaire pour diffuser toutes les collections de données souhaitées.

​
Ressources supplémentaires

Pour en savoir plus sur la mise en place d’une intégration avec Estuary, consultez la documentation d’Estuary :
Dernière modification le 24 juillet 2026