Intégrer Azure Synapse à ClickHouse - ClickHouse Documentation

Azure Synapse est un service d’analytics intégré qui combine le big data, la science des données et l’entreposage de données pour permettre une analyse rapide des données à grande échelle. Dans Synapse, les pools Spark fournissent des clusters Apache Spark évolutifs et disponibles à la demande, qui permettent d’exécuter des transformations de données complexes, des workflows de machine learning et des intégrations avec des systèmes externes. Cet article vous explique comment intégrer le ClickHouse Spark connector lorsque vous utilisez Apache Spark dans Azure Synapse.

Ajouter les dépendances du connecteur

Azure Synapse prend en charge trois niveaux de gestion des paquets :

Paquets par défaut
Niveau du pool Spark
Niveau de la session

Suivez le guide Manage libraries for Apache Spark pools et ajoutez les dépendances requises suivantes à votre application Spark

clickhouse-spark-runtime-{spark_version}_{scala_version}-{connector_version}.jar - Maven officiel
clickhouse-jdbc-{java_client_version}-all.jar - Maven officiel

Veuillez consulter notre documentation Compatibility Matrix du Spark Connector pour déterminer quelles versions correspondent à vos besoins.

Ajouter ClickHouse comme catalogue

Il existe différentes façons d’ajouter des configurations Spark à votre session :

Charger un fichier de configuration personnalisé avec votre session
Ajouter des configurations via l’UI d’Azure Synapse
Ajouter des configurations dans votre notebook Synapse

Suivez ce guide Manage Apache Spark configuration et ajoutez les configurations Spark requises par le connecteur. Par exemple, vous pouvez configurer votre session Spark dans votre notebook avec les paramètres suivants :

%%configure -f
{
    "conf": {
        "spark.sql.catalog.clickhouse": "com.clickhouse.spark.ClickHouseCatalog",
        "spark.sql.catalog.clickhouse.host": "<clickhouse host>",
        "spark.sql.catalog.clickhouse.protocol": "https",
        "spark.sql.catalog.clickhouse.http_port": "<port>",
        "spark.sql.catalog.clickhouse.user": "<username>",
        "spark.sql.catalog.clickhouse.password": "password",
        "spark.sql.catalog.clickhouse.database": "default"
    }
}

Assurez-vous qu’il figure dans la première cellule, comme suit : Veuillez consulter la page de configuration de Spark pour ClickHouse pour connaître les paramètres supplémentaires.

Si vous utilisez ClickHouse Cloud, veillez à définir les paramètres Spark requis.

Vérification de la configuration

Pour vérifier que les dépendances et la configuration ont bien été définies, ouvrez la UI Spark de votre session, puis accédez à l’onglet Environment. Vous y trouverez les paramètres liés à ClickHouse :

​Ajouter les dépendances du connecteur

​Ajouter ClickHouse comme catalogue

​Vérification de la configuration

​Ressources supplémentaires

Ajouter les dépendances du connecteur

Ajouter ClickHouse comme catalogue

Vérification de la configuration

Ressources supplémentaires