> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
> Acheminez des données en continu vers ClickHouse à l’aide des pipelines de données NiFi
# Connecter Apache NiFi à ClickHouse
export const CommunityMaintainedBadge = () => {
return ;
};
export const Image = ({img, alt, size = "lg"}) => {
const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
return ;
};
Apache NiFi est un logiciel open source de gestion de workflows conçu pour automatiser les flux de données entre différents systèmes logiciels. Il permet de créer des pipelines ETL et est livré avec plus de 300 processeurs de données. Ce tutoriel pas à pas montre comment connecter Apache NiFi à ClickHouse à la fois comme source et comme destination, puis charger un jeu de données d’exemple.
Pour vous connecter à ClickHouse via HTTP(S), vous avez besoin des informations suivantes :
| Paramètre(s) | Description |
| ------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------- |
| `HOST` and `PORT` | En général, le port est 8443 lors de l’utilisation de TLS, ou 8123 sans TLS. |
| `DATABASE NAME` | Par défaut, une base de données nommée `default` est disponible ; utilisez le nom de la base de données à laquelle vous voulez vous connecter. |
| `USERNAME` and `PASSWORD` | Par défaut, le nom d’utilisateur est `default`. Utilisez le nom d’utilisateur adapté à votre cas d’usage. |
Les informations de votre service ClickHouse Cloud sont disponibles dans la console ClickHouse Cloud.
Sélectionnez un service, puis cliquez sur **Connect** :
Choisissez **HTTPS**. Les détails de connexion s’affichent dans un exemple de commande `curl`.
Si vous utilisez ClickHouse autogéré, les détails de connexion sont définis par votre administrateur ClickHouse.
Pour une nouvelle installation, téléchargez le binaire depuis [https://nifi.apache.org/download.html](https://nifi.apache.org/download.html), puis lancez-le en exécutant `./bin/nifi.sh start`
1. Accédez à la page des versions du pilote JDBC ClickHouse sur GitHub et recherchez la dernière version publiée du pilote JDBC
2. Dans cette version, cliquez sur "Show all xx assets" et recherchez le fichier JAR contenant le mot-clé "shaded" ou "all", par exemple `clickhouse-jdbc-0.5.0-all.jar`
3. Placez le fichier JAR dans un dossier accessible à Apache NiFi et notez le chemin absolu
Ajouter le Controller Service DBCPConnectionPool et configurer ses propriétés} id="4-add-dbcpconnectionpool-controller-service-and-configure-its-properties">
1. Pour configurer un Controller Service dans Apache NiFi, accédez à la page de configuration du flux NiFi en cliquant sur le bouton "gear"
2. Sélectionnez l’onglet Controller Services et ajoutez un nouveau Controller Service en cliquant sur le bouton `+` en haut à droite
3. Recherchez `DBCPConnectionPool`, puis cliquez sur le bouton "Add"
4. Le `DBCPConnectionPool` nouvellement ajouté sera, par défaut, dans un état invalide. Cliquez sur le bouton "gear" pour commencer la configuration
5. Dans la section "Properties", saisissez les valeurs suivantes
| Property | Value | Remark |
| --------------------------------------------- | ---------------------------------------------------------------------------------------- | ----------------------------------------------------------- |
| URL de connexion à la base de données | jdbc[https://HOSTNAME:8443/default?ssl=true](https://HOSTNAME:8443/default?ssl=true)true | Remplacez HOSTNAME dans l’URL de connexion en conséquence |
| Nom de la classe du driver de base de données | com.clickhouse.jdbc.ClickHouseDriver | |
| Emplacements du driver de base de données | /etc/nifi/nifi-X.XX.X/lib/clickhouse-jdbc-0.X.X-patchXX-shaded.jar | Chemin absolu vers le fichier JAR du ClickHouse JDBC driver |
| Utilisateur de la base de données | default | Nom d’utilisateur ClickHouse |
| Mot de passe | password | Mot de passe ClickHouse |
6. Dans la section Settings, remplacez le nom du Controller Service par "ClickHouse JDBC" pour le retrouver plus facilement
7. Activez le Controller Service `DBCPConnectionPool` en cliquant sur le bouton "lightning", puis sur le bouton "Enable"
8. Vérifiez dans l’onglet Controller Services que le Controller Service est bien activé
Lire des données d’une table à l’aide du processeur ExecuteSQL} id="5-read-from-a-table-using-the-executesql-processor">
1. Ajoutez un processeur `ExecuteSQL`, ainsi que les processeurs en amont et en aval appropriés
2. Dans la section "Propriétés" du processeur `ExecuteSQL`, saisissez les valeurs suivantes
| Propriété | Valeur | Remarque |
| -------------------------------------------------- | ----------------------------- | --------------------------------------------------------------- |
| Service de pool de connexions à la base de données | ClickHouse JDBC | Sélectionnez le service de contrôleur configuré pour ClickHouse |
| Requête SQL SELECT | SELECT \* FROM system.metrics | Saisissez votre requête ici |
3. Démarrez le processeur `ExecuteSQL`
4. Pour confirmer que la requête a bien été traitée, inspectez l’un des `FlowFile` dans la file d’attente de sortie
5. Basculez sur la vue "formatted" pour afficher le résultat du `FlowFile` de sortie
Écrire dans une table à l’aide des processeurs MergeRecord et PutDatabaseRecord} id="6-write-to-a-table-using-mergerecord-and-putdatabaserecord-processor">
1. Pour écrire plusieurs lignes en une seule insertion, vous devez d’abord fusionner plusieurs enregistrements en un seul. Pour cela, utilisez le processeur `MergeRecord`
2. Dans la section "Properties" du processeur `MergeRecord`, saisissez les valeurs suivantes
| Propriété | Valeur | Remarque |
| ------------------------- | ------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| Record Reader | `JSONTreeReader` | Sélectionnez le lecteur d’enregistrements approprié |
| Record Writer | `JSONReadSetWriter` | Sélectionnez le writer d’enregistrements approprié |
| Minimum Number of Records | 1000 | Remplacez cette valeur par un nombre plus élevé afin de fusionner un nombre minimal de lignes en un seul enregistrement. La valeur par défaut est de 1 ligne |
| Maximum Number of Records | 10000 | Remplacez cette valeur par un nombre supérieur à "Minimum Number of Records". La valeur par défaut est de 1 000 lignes |
3. Pour vérifier que plusieurs enregistrements sont bien fusionnés en un seul, examinez l’entrée et la sortie du processeur `MergeRecord`. Notez que la sortie est un tableau contenant plusieurs enregistrements d’entrée
Entrée
Sortie
4. Dans la section "Properties" du processeur `PutDatabaseRecord`, saisissez les valeurs suivantes
| Propriété | Valeur | Remarque |
| ----------------------------------- | ---------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------- |
| Record Reader | `JSONTreeReader` | Sélectionnez le lecteur d’enregistrements approprié |
| Database Type | Generic | Laissez la valeur par défaut |
| Statement Type | INSERT | |
| Database Connection Pooling Service | ClickHouse JDBC | Sélectionnez le service contrôleur ClickHouse |
| Table Name | tbl | Saisissez ici le nom de votre table |
| Translate Field Names | false | Définissez cette valeur sur "false" afin que les noms de champs insérés correspondent aux noms des colonnes |
| Maximum Batch Size | 1000 | Nombre maximal de lignes par insertion. Cette valeur ne doit pas être inférieure à celle de "Minimum Number of Records" dans le processeur `MergeRecord` |
5. Pour vérifier que chaque insertion contient plusieurs lignes, assurez-vous que le nombre de lignes de la table augmente d’au moins la valeur de "Minimum Number of Records" définie dans `MergeRecord`.
6. Félicitations - vous avez chargé vos données dans ClickHouse avec Apache NiFi !
