Skip to main content
Estuary peut se connecter à ClickHouse via un Kafka ClickPipe. Avec cette intégration, vous n’avez pas besoin de maintenir votre propre écosystème Kafka. Estuary émet à la place les nouvelles données sous forme de messages Kafka. Vous pouvez configurer un Kafka ClickPipe pour utiliser les informations du broker et du registre de schémas d’Estuary afin de consommer ces messages. Pour une autre option, consultez l’intégration directe d’Estuary à ClickHouse.

​
Guide de configuration

Prérequis Vous aurez besoin de :
  • D’un compte Estuary
  • D’une ou plusieurs captures dans Estuary, qui extraient les données des sources de votre choix
  • D’un compte ClickHouse Cloud disposant des autorisations ClickPipe
1

Créer une matérialisation Estuary

Pour transférer les données de vos collections sources Estuary vers ClickHouse, vous devez d’abord créer une matérialisation.
  1. Dans le tableau de bord Estuary, accédez à la page Destinations.
  2. Cliquez sur + New Materialization.
  3. Sélectionnez le connecteur ClickHouse Kafka API.
  4. Renseignez les sections Materialization, Endpoint et Source Collections :
    • Materialization Details : indiquez un nom unique pour votre matérialisation et choisissez un plan de données (fournisseur cloud et région)
    • Endpoint Config : fournissez un Auth Token sécurisé
    • Source Collections : associez une capture existante ou sélectionnez les collections de données à exposer à ClickHouse
  5. Cliquez sur Next, puis sur Save and Publish.
  6. Sur la page des détails de la matérialisation, notez le nom complet de votre matérialisation ClickHouse. Il se présentera sous la forme your-tenant/your-unique-name/dekaf-clickhouse.
Estuary commencera à diffuser les collections sélectionnées sous forme de messages Kafka. ClickHouse peut accéder à ces données via un Kafka ClickPipe à l’aide des informations du broker Estuary et du jeton d’authentification que vous avez fourni.
2

Saisir les informations de connexion Kafka

Configurez un nouveau Kafka ClickPipe dans ClickHouse et saisissez les informations de connexion :
  1. Dans votre tableau de bord ClickHouse Cloud, sélectionnez Data sources.
  2. Créez un nouveau ClickPipe.
  3. Choisissez Apache Kafka comme source de données.
  4. Saisissez les informations de connexion Kafka à l’aide des informations relatives au broker et au registre d’Estuary :
    • Donnez un nom à votre ClickPipe
    • Pour le broker, utilisez : dekaf.estuary-data.com:9092
    • Laissez l’authentification sur l’option par défaut SASL/PLAIN
    • Pour l’utilisateur, saisissez le nom complet de votre matérialisation Estuary (par exemple, your-tenant/your-unique-name/dekaf-clickhouse)
    • Pour le mot de passe, saisissez le jeton d’authentification fourni pour votre matérialisation
  5. Activez l’option de registre de schémas :
    • Pour l’URL du schéma, utilisez : https://dekaf.estuary-data.com
    • La clé de schéma est identique à l’utilisateur du broker (le nom de votre matérialisation)
    • Le secret est identique au mot de passe du broker (votre jeton d’authentification)
3

Configurer les données entrantes

  1. Sélectionnez l’un de vos topics Kafka (l’une de vos collections de données Estuary).
  2. Choisissez un offset.
  3. ClickHouse détectera les messages du topic. Vous pouvez ensuite passer à la section Parse information pour configurer les informations de votre table.
  4. Choisissez de créer une table ou de charger les données dans une table existante correspondante.
  5. Associez les champs sources aux colonnes de la table en confirmant le nom de la colonne, le type et si elle accepte les valeurs nulles.
  6. Dans la dernière section, Details and settings, vous pouvez sélectionner les autorisations de votre utilisateur de base de données dédié.
Une fois votre configuration finalisée, créez votre ClickPipe.ClickHouse provisionnera votre nouvelle source de données et commencera à consommer les messages d’Estuary. Créez autant de ClickPipes que nécessaire pour diffuser toutes les collections de données de votre choix.

​
Ressources supplémentaires

Pour en savoir plus sur la configuration d’une intégration ClickPipe avec Estuary, consultez la documentation d’Estuary :
Dernière modification le 14 août 2026