> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
> Acheminez des données vers ClickHouse à l’aide des pipelines de données BladePipe
# Connectez BladePipe à ClickHouse
export const PartnerBadge = () => {
return ;
};
export const Image = ({img, alt, size = "lg"}) => {
const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
return ;
};
BladePipe est un outil d’intégration de données de bout en bout en temps réel, avec une latence inférieure à une seconde, qui assure une circulation fluide des données entre les plateformes.
ClickHouse est l’un des connecteurs préconfigurés de BladePipe, permettant aux utilisateurs d’intégrer automatiquement des données provenant de diverses sources dans ClickHouse. Cette page explique comment charger des données dans ClickHouse en temps réel, étape par étape.
## Sources prises en charge
Actuellement, BladePipe prend en charge l’intégration de données vers ClickHouse à partir des sources suivantes :
* MySQL/MariaDB/AuroraMySQL
* Oracle
* PostgreSQL/AuroraPostgreSQL
* MongoDB
* Kafka
* PolarDB-MySQL
* OceanBase
* TiDB
La prise en charge d’autres sources est prévue.
1. Connectez-vous à BladePipe Cloud.
2. Suivez les instructions de Installer un Worker (Docker) ou de Installer un Worker (binaire) pour télécharger et installer un Worker BladePipe.
Vous pouvez également télécharger et déployer BladePipe Enterprise.
1. BladePipe prend en charge ClickHouse à partir de la version `20.12.3.3`.
2. Pour utiliser ClickHouse comme cible, assurez-vous que l'utilisateur dispose des autorisations SELECT, INSERT et des autorisations DDL courantes.
1. Dans BladePipe, cliquez sur "DataSource" > "Add DataSource".
2. Sélectionnez `ClickHouse`, puis renseignez les paramètres en indiquant l'hôte et le port de votre instance ClickHouse, ainsi que le nom d'utilisateur et le mot de passe, puis cliquez sur "Test Connection".
3. Cliquez sur "Add DataSource" en bas de la page pour ajouter une instance ClickHouse.
Dans ce tutoriel, nous utilisons une instance MySQL comme source et expliquons le processus de chargement des données MySQL dans ClickHouse.
Pour utiliser MySQL comme source, assurez-vous que l'utilisateur dispose des autorisations requises.
1. Dans BladePipe, cliquez sur "DataSource" > "Add DataSource".
2. Sélectionnez `MySQL`, puis renseignez les paramètres en indiquant l'hôte et le port MySQL, le nom d'utilisateur et le mot de passe, puis cliquez sur "Test Connection".
3. Cliquez sur "Add DataSource" en bas de la page, puis une instance MySQL est ajoutée.
1. Dans BladePipe, cliquez sur "DataJob" > "Create DataJob".
2. Sélectionnez les instances MySQL et ClickHouse ajoutées, puis cliquez sur "Test Connection" pour vérifier que BladePipe est bien connecté à ces instances. Sélectionnez ensuite les bases de données à déplacer.
3. Sélectionnez "Incremental" comme type de DataJob, ainsi que l’option "Full Data".
4. Sélectionnez les tables à répliquer.
5. Sélectionnez les colonnes à répliquer.
6. Confirmez la création du DataJob, puis le DataJob s’exécute automatiquement.
1. Arrêtez l’écriture des données dans l’instance MySQL et attendez que ClickHouse fusionne les données.
En raison du caractère imprévisible du moment où ClickHouse effectue automatiquement la fusion, vous pouvez la déclencher manuellement en exécutant la commande `OPTIMIZE TABLE xxx FINAL;`. Notez toutefois que cette fusion manuelle peut ne pas toujours réussir.
Vous pouvez également exécuter la commande `CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;` pour créer une vue et effectuer des requêtes dessus afin de vous assurer que les données sont entièrement fusionnées.
2. Créez un DataJob de vérification. Une fois le DataJob de vérification terminé, examinez les résultats pour confirmer que les données dans ClickHouse sont identiques à celles de MySQL.