> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

> Acheminez diverses sources vers ClickHouse grâce à une intégration Estuary

# Connectez Estuary à ClickHouse

export const PartnerBadge = () => {
  return <div className="PartnerBadge">
            <div className="PartnerBadgeIcon">
                <svg width="16" height="16" viewBox="0 0 16 16" fill="none" xmlns="http://www.w3.org/2000/svg">
                    <polyline points="12.5 9.5 10 12 6 11 2.5 8.5" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <polyline points="4.54 4.41 8 3.5 11.46 4.41" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M2.15,3.78 L0.55,6.95 A0.5,0.5 0,0,0 0.77,7.62 L2.5,8.5 L4.54,4.41 L2.82,3.55 A0.5,0.5 0,0,0 2.15,3.78 Z" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M13.5,8.5 L15.23,7.62 A0.5,0.5 0,0,0 15.45,6.95 L13.85,3.78 A0.5,0.5 0,0,0 13.18,3.55 L11.46,4.41 Z" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M11.5,4.5 L9,4.5 L6.15,7.27 A0.5,0.5 0,0,0 6.24,8.05 C7.33,8.74 8.81,8.72 10,7.5 L12.5,9.5 L13.5,8.5" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <polyline points="7.75 13.5 5.15 12.85 3.5 11.67" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                </svg>
            </div>
            Intégration partenaire
        </div>;
};

<PartnerBadge />

[Estuary](https://estuary.dev/) est une plateforme de données qui combine avec souplesse des données en temps réel et par lots dans des pipelines ETL faciles à mettre en place. Avec une sécurité de niveau entreprise et différentes options de déploiement, Estuary permet de créer des flux de données fiables à partir de sources SaaS, de bases de données et de streaming vers diverses destinations, dont ClickHouse.

Estuary se connecte à ClickHouse via le Kafka ClickPipe. Vous n'avez pas besoin de maintenir votre propre écosystème Kafka avec cette intégration.

<div id="setup-guide">
  ## Guide de configuration
</div>

**Prérequis**

* Un [compte Estuary](https://dashboard.estuary.dev/register)
* Une ou plusieurs [**captures**](https://docs.estuary.dev/concepts/captures/) dans Estuary, qui extraient les données des sources souhaitées
* Un compte ClickHouse Cloud avec les autorisations ClickPipe

<Steps>
  <Step title="Créer une matérialisation Estuary" id="1-create-an-estuary-materialization">
    Pour transférer des données depuis vos collections source dans Estuary vers ClickHouse, vous devez d'abord créer une **matérialisation**.

    1. Dans le tableau de bord d'Estuary, accédez à la page [Destinations](https://dashboard.estuary.dev/materializations).

    2. Cliquez sur **+ New Materialization**.

    3. Sélectionnez le connecteur **ClickHouse**.

    4. Renseignez les sections Materialization, Endpoint et Source Collections :

       * **Materialization Details :** indiquez un nom unique pour votre matérialisation et choisissez un data plane (fournisseur cloud et région)

       * **Endpoint Config :** indiquez un **Auth Token** sécurisé

       * **Source Collections :** associez une **capture** existante ou sélectionnez les collections de données à exposer à ClickHouse

    5. Cliquez sur **Next**, puis sur **Save and Publish**.

    6. Sur la page des détails de la matérialisation, notez le nom complet de votre matérialisation ClickHouse. Il ressemblera à ceci : `your-tenant/your-unique-name/dekaf-clickhouse`.

    Estuary commencera à diffuser les collections sélectionnées sous forme de messages Kafka. ClickHouse peut accéder à ces données via un Kafka ClickPipe à l'aide des informations du broker Estuary et du jeton d'authentification que vous avez fourni.
  </Step>

  <Step title="Saisir les informations de connexion Kafka" id="2-enter-kafka-connection-details">
    Configurez un nouveau Kafka ClickPipe dans ClickHouse et saisissez les informations de connexion :

    1. Dans votre tableau de bord ClickHouse Cloud, sélectionnez **Data sources**.

    2. Créez un nouveau **ClickPipe**.

    3. Choisissez **Apache Kafka** comme source de données.

    4. Saisissez les informations de connexion Kafka à l'aide des informations de broker et de registry d'Estuary :

       * Indiquez un nom pour votre ClickPipe
       * Pour le broker, utilisez : `dekaf.estuary-data.com:9092`
       * Laissez l'authentification sur l'option par défaut `SASL/PLAIN`
       * Pour l'utilisateur, saisissez le nom complet de votre matérialisation dans Estuary (par exemple `your-tenant/your-unique-name/dekaf-clickhouse`)
       * Pour le mot de passe, saisissez le jeton d'authentification fourni pour votre matérialisation

    5. Activez l'option de schema registry

       * Pour l'URL du schéma, utilisez : `https://dekaf.estuary-data.com`
       * La clé du schéma sera la même que l'utilisateur du broker (le nom de votre matérialisation)
       * Le secret sera le même que le mot de passe du broker (votre jeton d'authentification)
  </Step>

  <Step title="Configurer les données entrantes" id="3-configure-incoming-data">
    1. Sélectionnez l'un de vos **topics** Kafka (l'une de vos collections de données dans Estuary).

    2. Choisissez un **offset**.

    3. ClickHouse détectera les messages du topic. Vous pourrez ensuite passer à la section **Parse information** pour configurer les informations de votre table.

    4. Choisissez de créer une nouvelle table ou de charger les données dans une table existante correspondante.

    5. Associez les champs source aux colonnes de la table, en vérifiant le nom de la colonne, le type et si elle accepte la valeur NULL.

    6. Dans la dernière section **Details and settings**, vous pouvez sélectionner les autorisations de votre utilisateur de base de données dédié.

    Une fois la configuration validée, créez votre ClickPipe.

    ClickHouse provisionnera votre nouvelle source de données et commencera à consommer les messages depuis Estuary. Créez autant de ClickPipes que nécessaire pour diffuser toutes les collections de données souhaitées.
  </Step>
</Steps>

<div id="additional-resources">
  ## Ressources supplémentaires
</div>

Pour en savoir plus sur la mise en place d’une intégration avec Estuary, consultez la documentation d’Estuary :

* Consultez la [documentation d’Estuary sur la matérialisation ClickHouse](https://docs.estuary.dev/reference/Connectors/materialization-connectors/Dekaf/clickhouse/).

* Estuary expose les données sous forme de messages Kafka à l’aide de **Dekaf**. Vous pouvez en savoir plus sur Dekaf [ici](https://docs.estuary.dev/guides/dekaf_reading_collections_from_kafka/).

* Pour voir la liste des sources que vous pouvez acheminer en streaming vers ClickHouse avec Estuary, consultez les [connecteurs de capture d’Estuary](https://docs.estuary.dev/reference/Connectors/capture-connectors/).