Skip to main content
BladePipe est un outil d’intégration de données de bout en bout en temps réel, avec une latence inférieure à une seconde, qui assure une circulation fluide des données entre les plateformes. ClickHouse est l’un des connecteurs préconfigurés de BladePipe, permettant aux utilisateurs d’intégrer automatiquement des données provenant de diverses sources dans ClickHouse. Cette page explique comment charger des données dans ClickHouse en temps réel, étape par étape.

​
Sources prises en charge

Actuellement, BladePipe prend en charge l’intégration de données vers ClickHouse à partir des sources suivantes :
  • MySQL/MariaDB/AuroraMySQL
  • Oracle
  • PostgreSQL/AuroraPostgreSQL
  • MongoDB
  • Kafka
  • PolarDB-MySQL
  • OceanBase
  • TiDB
La prise en charge d’autres sources est prévue.
1

Télécharger et exécuter BladePipe

  1. Connectez-vous à BladePipe Cloud.
  2. Suivez les instructions de Installer un Worker (Docker) ou de Installer un Worker (binaire) pour télécharger et installer un Worker BladePipe.
Vous pouvez également télécharger et déployer BladePipe Enterprise.
2

Ajouter ClickHouse comme cible

  1. BladePipe prend en charge ClickHouse à partir de la version 20.12.3.3.
  2. Pour utiliser ClickHouse comme cible, assurez-vous que l’utilisateur dispose des autorisations SELECT, INSERT et des autorisations DDL courantes.
  1. Dans BladePipe, cliquez sur “DataSource” > “Add DataSource”.
  2. Sélectionnez ClickHouse, puis renseignez les paramètres en indiquant l’hôte et le port de votre instance ClickHouse, ainsi que le nom d’utilisateur et le mot de passe, puis cliquez sur “Test Connection”.
  3. Cliquez sur “Add DataSource” en bas de la page pour ajouter une instance ClickHouse.
3

Ajouter MySQL comme source

Dans ce tutoriel, nous utilisons une instance MySQL comme source et expliquons le processus de chargement des données MySQL dans ClickHouse.
Pour utiliser MySQL comme source, assurez-vous que l’utilisateur dispose des autorisations requises.
  1. Dans BladePipe, cliquez sur “DataSource” > “Add DataSource”.
  2. Sélectionnez MySQL, puis renseignez les paramètres en indiquant l’hôte et le port MySQL, le nom d’utilisateur et le mot de passe, puis cliquez sur “Test Connection”.
  3. Cliquez sur “Add DataSource” en bas de la page, puis une instance MySQL est ajoutée.
4

Créer un pipeline

  1. Dans BladePipe, cliquez sur “DataJob” > “Create DataJob”.
  2. Sélectionnez les instances MySQL et ClickHouse ajoutées, puis cliquez sur “Test Connection” pour vérifier que BladePipe est bien connecté à ces instances. Sélectionnez ensuite les bases de données à déplacer.
  3. Sélectionnez “Incremental” comme type de DataJob, ainsi que l’option “Full Data”.
  4. Sélectionnez les tables à répliquer.
  5. Sélectionnez les colonnes à répliquer.
  6. Confirmez la création du DataJob, puis le DataJob s’exécute automatiquement.
5

Vérifier les données

  1. Arrêtez l’écriture des données dans l’instance MySQL et attendez que ClickHouse fusionne les données.
En raison du caractère imprévisible du moment où ClickHouse effectue automatiquement la fusion, vous pouvez la déclencher manuellement en exécutant la commande OPTIMIZE TABLE xxx FINAL;. Notez toutefois que cette fusion manuelle peut ne pas toujours réussir.Vous pouvez également exécuter la commande CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL; pour créer une vue et effectuer des requêtes dessus afin de vous assurer que les données sont entièrement fusionnées.
  1. Créez un DataJob de vérification. Une fois le DataJob de vérification terminé, examinez les résultats pour confirmer que les données dans ClickHouse sont identiques à celles de MySQL.
Dernière modification le 24 juillet 2026