> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Apache Spark と ClickHouse の統合

> Apache Spark と ClickHouse の概要

ClickHouse対応

[Apache Spark](https://spark.apache.org/) は、単一ノードのマシンまたはクラスター上で、データエンジニアリング、データ
サイエンス、機械学習を実行するためのマルチ言語対応エンジンです。

Apache Spark と ClickHouse を接続する主な方法は 2 つあります。

1. [Spark Connector](https://clickhouse.com/docs/ja/integrations/connectors/data-ingestion/apache-spark/spark-native-connector.md) - Spark コネクタは `DataSourceV2` を実装しており、独自のカタログ
   管理機能を備えています。現時点では、これが ClickHouse と Spark を連携するための推奨方法です。
2. [Spark JDBC](https://clickhouse.com/docs/ja/integrations/connectors/data-ingestion/apache-spark/spark-jdbc.md) - [JDBC data source](https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html) を使用して Spark と ClickHouse
   を連携します。

どちらのソリューションもテストで十分に検証されており、Java、Scala、PySpark、Spark SQL などの各種 API と完全に互換性があります。

### Spark ランタイム環境

#### 標準的な Spark ランタイム

Spark Connector は、Amazon EMR や Kubernetes ベースの Spark デプロイメントなど、Apache Spark のアップストリームランタイムに近い環境で、そのまま利用できます。

#### マネージド Spark プラットフォーム

[AWS Glue](https://clickhouse.com/docs/ja/integrations/connectors/data-ingestion/AWS/glue.md) や [Databricks](https://clickhouse.com/docs/ja/integrations/connectors/data-ingestion/apache-spark/databricks.md) などのプラットフォームでは、追加の抽象化や環境固有の挙動が生じます。
コアとなるインテグレーション自体は同じですが、個別の設定やセットアップ手順が必要になる場合があります。詳細は、それぞれのドキュメントページを参照してください。
