> ## Documentation Index > Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt > Use this file to discover all available pages before exploring further. > Streaming de données de SQL Server vers ClickHouse pour des analyses rapides # Streaming de données de SQL Server vers ClickHouse pour des analyses rapides : guide pas à pas export const Image = ({img, alt, size = "lg"}) => { const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg"; return

; }; Dans cet article, nous allons passer en revue un tutoriel qui montre comment transférer des données en continu de SQL Server vers ClickHouse. ClickHouse est idéal si vous recherchez des capacités d’analytics ultra-rapides pour alimenter des dashboards internes ou destinés à vos clients. Nous vous guiderons pas à pas pour configurer les deux bases de données, les connecter, puis utiliser [Streamkap](https://streamkap.com) pour acheminer vos données en continu. Si SQL Server gère vos opérations quotidiennes, mais que vous avez besoin de la rapidité et de la puissance analytique de ClickHouse, vous êtes au bon endroit.

## Pourquoi acheminer des données de SQL Server vers ClickHouse en continu ?

Si vous êtes ici, vous voyez probablement bien le problème : SQL Server est très fiable pour les transactions, mais il n’est tout simplement pas conçu pour exécuter de lourdes requêtes analytiques en temps réel. C’est là que ClickHouse excelle. ClickHouse est conçu pour l’analytics, avec une agrégation et un reporting ultra-rapides, même sur d’énormes jeux de données. Mettre en place un pipeline CDC en streaming pour envoyer vos données transactionnelles vers ClickHouse vous permet donc d’exécuter des rapports extrêmement rapides — idéal pour les équipes opérationnelles, les équipes produit ou les tableaux de bord clients. Cas d’utilisation typiques : * Des rapports internes qui ne ralentissent pas les applications de production * Des tableaux de bord destinés aux clients, qui doivent être rapides et toujours à jour * Le streaming d’événements, par exemple pour garder les logs d’activité des utilisateurs à jour à des fins d’analytics

## Ce qu’il vous faut pour commencer

Avant d’entrer dans les détails, voici ce que vous devriez avoir sous la main :

### Prérequis

* Une instance SQL Server opérationnelle * Pour ce tutoriel, nous utilisons AWS RDS pour SQL Server, mais toute instance SQL Server moderne fera l’affaire.[Configurer AWS SQL Server à partir de zéro.](https://streamkap.com/blog/how-to-stream-data-from-rds-sql-server-to-clickhouse-cloud-using-streamkap#setting-up-a-new-rds-sql-server-from-scratch) * Une instance ClickHouse * Auto-hébergée ou dans le cloud.[Configurer ClickHouse à partir de zéro.](https://streamkap.com/blog/how-to-stream-data-from-rds-sql-server-to-clickhouse-cloud-using-streamkap#creating-a-new-clickhouse-account) * Streamkap * Cet outil sera la pierre angulaire de votre pipeline de streaming de données.

### Informations de connexion

Assurez-vous d'avoir : * l'adresse du serveur SQL Server, le port, le nom d'utilisateur et le mot de passe. Il est recommandé de créer un utilisateur et un rôle distincts pour permettre à Streamkap d'accéder à votre base de données SQL Server.[Consultez notre documentation pour la configuration.](https://www.google.com/url?q=https://docs.streamkap.com/docs/sql-server\&sa=D\&source=editors\&ust=1760992472358213\&usg=AOvVaw3jfocCF1VSijgsq1OCpZPj) * l'adresse du serveur ClickHouse, le port, le nom d'utilisateur et le mot de passe. Les listes d'accès IP dans ClickHouse déterminent quels services peuvent se connecter à votre base de données ClickHouse.[Suivez les instructions ici.](https://www.google.com/url?q=https://docs.streamkap.com/docs/clickhouse\&sa=D\&source=editors\&ust=1760992472359060\&usg=AOvVaw3H1XqqwvqAso_TQPNBKEhD) * les tables que vous souhaitez diffuser — commencez-en par une seule pour l'instant C’est parti ! Nous allons commencer par configurer la connexion à la source. C’est ainsi que Streamkap sait d’où récupérer les modifications. Voici comment procéder : 1. Ouvrez Streamkap et accédez à la section Sources. 2. Créez une nouvelle source. * Donnez-lui un nom facilement identifiable (par exemple, sqlserver-demo-source). 3. Renseignez les détails de connexion à votre SQL Server : * Hôte (par exemple, your-db-instance.rds.amazonaws.com) * Port (le port par défaut de SQL Server est 3306) * Nom d’utilisateur et mot de passe * Nom de la base de données #### Ce qui se passe en arrière-plan Une fois cette configuration effectuée, Streamkap se connectera à votre SQL Server et détectera les tables. Pour cette démo, nous choisirons une table contenant déjà des données en cours de diffusion, comme des événements ou des transactions. Passons maintenant à la configuration de la destination vers laquelle nous enverrons toutes ces données. Comme pour la source, nous allons créer une destination à l’aide de nos informations de connexion à ClickHouse. #### Étapes : 1. Accédez à la section des destinations dans Streamkap. 2. Ajoutez une nouvelle destination — choisissez ClickHouse comme type de destination. 3. Saisissez vos informations de connexion à ClickHouse : * Hôte * Port (la valeur par défaut est 9000) * Nom d’utilisateur et mot de passe * Nom de la base de données Capture d’écran d’exemple : ajout d’une nouvelle destination ClickHouse dans le tableau de bord Streamkap. ### Mode d’upsert : qu’est-ce que c’est ? Il s’agit d’une étape importante : nous voulons utiliser le mode « upsert » de ClickHouse, qui utilise en arrière-plan le moteur ReplacingMergeTree dans ClickHouse. Cela nous permet de fusionner efficacement les enregistrements entrants et de gérer les mises à jour après l’ingestion, grâce à ce que ClickHouse appelle la « fusion des parts ». * Cela garantit que votre table de destination ne se remplit pas de doublons lorsque des changements interviennent du côté de SQL Server. ### Gestion de l’évolution du schéma ClickHouse et SQL Server n’ont pas toujours les mêmes colonnes, en particulier lorsque votre application est en production et que les développeurs continuent d’ajouter des colonnes à la volée. * Bonne nouvelle : Streamkap peut gérer les évolutions de schéma de base. Cela signifie que si vous ajoutez une nouvelle colonne dans SQL Server, elle apparaîtra également dans ClickHouse. Sélectionnez simplement « schema evolution » dans les paramètres de votre destination. Vous pourrez toujours ajuster cela plus tard si nécessaire. La source et la destination étant définies, passons à la partie amusante : diffuser vos données en continu ! #### Configuration du pipeline 1. Accédez à l’onglet Pipelines dans Streamkap. 2. Créez un nouveau pipeline. 3. Sélectionnez votre source SQL Server (sqlserver-demo-source). 4. Sélectionnez votre destination ClickHouse (clickhouse-tutorial-destination). 5. Choisissez la table que vous souhaitez diffuser en continu — par exemple, events. 6. Configurez la capture des changements de données (CDC). * Pour cet essai, nous diffuserons uniquement les nouvelles données (n’hésitez pas à ignorer le chargement de l’historique au départ et à vous concentrer sur les événements CDC). Capture d’écran des paramètres du pipeline — sélection de la source, de la destination et de la table. #### Faut-il charger l’historique ? Vous vous demandez peut-être : faut-il charger les anciennes données ? Dans de nombreux cas d’analytics, vous pouvez simplement commencer par diffuser les changements à partir de maintenant, puis revenir plus tard pour charger aussi les données plus anciennes. Choisissez simplement « ne pas charger l’historique » pour le moment, sauf si vous avez un besoin précis. Votre pipeline est maintenant configuré et actif ! Voici ce qui se passe : * À mesure que de nouvelles données arrivent dans la table source de SQL Server, le pipeline Streamkap capture la modification et l’envoie à ClickHouse. * ClickHouse (grâce à ReplacingMergeTree et à la fusion des parts) ingère ces lignes et fusionne les mises à jour. * Le schéma reste synchronisé : ajoutez des colonnes dans SQL Server et elles apparaîtront aussi dans ClickHouse. Un tableau de bord en direct ou des logs montrent le nombre de lignes qui augmente dans ClickHouse et SQL Server en temps réel. Vous pouvez littéralement voir le nombre de lignes grimper dans ClickHouse à mesure que SQL Server reçoit des données. ```sql theme={null} -- Example: Checking rows in ClickHouse SELECT COUNT(*) FROM analytics.events; | ``` Attendez-vous à un certain délai dans les scénarios de forte charge, mais, dans la plupart des cas d’usage, le streaming est quasi en temps réel.

## Sous le capot : que fait réellement Streamkap ?

Pour vous donner un aperçu : * Streamkap surveille le journal binaire de SQL Server (le même journal utilisé pour la réplication). * Dès qu’une ligne est insérée, mise à jour ou supprimée dans votre table, Streamkap détecte l’événement. * Il convertit l’événement dans un format compréhensible par ClickHouse et l’achemine — en appliquant instantanément les modifications dans votre base analytique. Ce n’est pas seulement de l’ETL — c’est une capture des changements de données (CDC) complète, en temps réel.

## Options avancées

### Modes Upsert et Insert

Quelle est la différence entre le simple fait d’insérer chaque ligne (mode Insert) et le fait de s’assurer que les mises à jour et les suppressions sont elles aussi répliquées (mode Upsert) ? * Mode Insert : chaque nouvelle ligne est ajoutée — même s’il s’agit d’une mise à jour, cela crée des doublons. * Mode Upsert : les mises à jour des lignes existantes écrasent les données déjà présentes — c’est bien plus efficace pour garder les analyses à jour et propres.

### Gestion des modifications du schéma

Les applications évoluent, et vos schémas aussi. Grâce à ce pipeline : * Vous ajoutez une nouvelle colonne à votre table opérationnelle ? Streamkap la détectera et l’ajoutera également côté ClickHouse. * Vous supprimez une colonne ? Selon la configuration, une migration peut être nécessaire, mais la plupart des ajouts se font sans accroc.

## Supervision en production : garder un œil sur le pipeline

### Vérification de l’état du pipeline

Streamkap fournit un tableau de bord qui vous permet de : * Voir le décalage du pipeline (vos données sont-elles à jour ?) * Surveiller le nombre de lignes et le débit * Être alerté si quelque chose ne va pas Exemple de tableau de bord : graphique de latence, nombre de lignes, indicateurs d’état.