跳到主要内容
跳到主要内容

将 Apache Spark 与 ClickHouse 集成


Apache Spark 是一个多语言引擎,用于在单节点机器或集群上执行数据工程、数据科学和机器学习。

将 Apache Spark 和 ClickHouse 连接有两种主要方式:

  1. Spark 连接器 - Spark 连接器实现了 DataSourceV2 并拥有自己的目录管理。截至目前,这是推荐的将 ClickHouse 和 Spark 集成的方式。
  2. Spark JDBC - 通过 JDBC 数据源 将 Spark 和 ClickHouse 集成。


这两种解决方案已成功测试,并与多种 API 完全兼容,包括 Java、Scala、PySpark 和 Spark SQL。