Integrar Azure Synapse con ClickHouse - ClickHouse Documentation

Azure Synapse es un servicio de análisis integrado que combina big data, ciencia de datos y almacenamiento de datos para permitir análisis de datos rápidos y a gran escala. Dentro de Synapse, los grupos de Spark proporcionan clústeres escalables de Apache Spark bajo demanda que le permiten ejecutar transformaciones de datos complejas, aprendizaje automático e integraciones con sistemas externos. En este artículo se muestra cómo integrar el ClickHouse Spark connector al trabajar con Apache Spark en Azure Synapse.

Agrega las dependencias del conector

Azure Synapse admite tres niveles de administración de paquetes:

Paquetes predeterminados
Nivel de grupo de Spark
Nivel de sesión

Sigue la guía Administrar bibliotecas para grupos de Apache Spark y agrega las siguientes dependencias obligatorias a tu aplicación de Spark

clickhouse-spark-runtime-{spark_version}_{scala_version}-{connector_version}.jar - Maven oficial
clickhouse-jdbc-{java_client_version}-all.jar - Maven oficial

Consulta nuestra documentación de la Matriz de compatibilidad de Spark Connector para entender qué versiones se ajustan a tus necesidades.

Añade ClickHouse como catálogo

Hay varias formas de añadir configuraciones de Spark a tu sesión:

Archivo de configuración personalizado para cargar con tu sesión
Añadir configuraciones mediante la UI de Azure Synapse
Añadir configuraciones en tu notebook de Synapse

Sigue esta guía de Administrar la configuración de Apache Spark y añade las configuraciones de Spark necesarias para el conector. Por ejemplo, puedes configurar tu sesión de Spark en tu notebook con estas opciones:

%%configure -f
{
    "conf": {
        "spark.sql.catalog.clickhouse": "com.clickhouse.spark.ClickHouseCatalog",
        "spark.sql.catalog.clickhouse.host": "<clickhouse host>",
        "spark.sql.catalog.clickhouse.protocol": "https",
        "spark.sql.catalog.clickhouse.http_port": "<port>",
        "spark.sql.catalog.clickhouse.user": "<username>",
        "spark.sql.catalog.clickhouse.password": "password",
        "spark.sql.catalog.clickhouse.database": "default"
    }
}

Asegúrese de que aparezca en la primera celda, de la siguiente manera: Visite la página de configuración de ClickHouse Spark para consultar ajustes adicionales.

Cuando trabaje con ClickHouse Cloud, asegúrese de configurar los ajustes de Spark requeridos.

Verificación de la configuración

Para verificar que las dependencias y configuraciones se hayan establecido correctamente, visite la UI de Spark de su sesión y vaya a la pestaña Environment. Allí, busque la configuración relacionada con ClickHouse:

​Agrega las dependencias del conector

​Añade ClickHouse como catálogo

​Verificación de la configuración

​Recursos adicionales

Agrega las dependencias del conector

Añade ClickHouse como catálogo

Verificación de la configuración

Recursos adicionales