利用可能なオプション
ユースケースに適したオプションは、ClickHouse のデプロイ形態、データフローの向き、運用要件など、複数の要因に応じて異なります。
これらのオプションをさらに詳しく比較するには、オプションの選び方を参照してください。
Kafka 向け ClickPipes
ClickPipes は、多様なソースからのデータ取り込みを数回クリックするだけで簡単に行える、マネージドなインテグレーションプラットフォームです。完全マネージド型で、本番ワークロード向けに特化して設計されているため、ClickPipes はインフラストラクチャと運用のコストを大幅に削減し、外部のデータストリーミングツールや ETL ツールを不要にします。主な機能
- ClickHouse Cloud 向けに最適化されており、非常に高いパフォーマンスを実現
- 高スループットのワークロードに対応する水平・垂直スケーラビリティ
- 設定可能なレプリカと自動再試行による、組み込みの耐障害性
- ClickHouse Cloud UI、Open API、または Terraform によるデプロイと管理
- クラウドネイティブな認可 (IAM) とプライベート接続 (PrivateLink) に対応したエンタープライズグレードのセキュリティ
- Confluent Cloud、Amazon MSK、Redpanda Cloud、Azure Event Hubs を含む幅広いデータソースをサポート
- 一般的なシリアライゼーションフォーマット (JSON、Avro、Protobuf) のほとんどをサポート
はじめに
Kafka 向け ClickPipes を使い始めるには、リファレンスドキュメントを参照するか、ClickHouse Cloud の UI でData Sources タブを開いてください。
Kafka Connect Sink
Kafka Connect はオープンソースのフレームワークで、Kafka と他のデータシステム間のシンプルなデータ連携を一元的に行うためのデータハブとして機能します。ClickHouse Kafka Connect Sink コネクタは、Apache Kafka やその他の Kafka API 互換ブローカーからデータを読み取るための、スケーラブルで柔軟に設定できるオプションを提供します。主な機能
- exactly-once セマンティクスをサポートするように設定可能
- 一般的なシリアライゼーション フォーマット (JSON、Avro、Protobuf) の大半をサポート
- ClickHouse Cloud に対して継続的にテストを実施
はじめに
ClickHouse Kafka Connect Sink の利用を開始するには、リファレンス ドキュメントを参照してください。Kafka テーブルエンジン
Kafka テーブルエンジン を使用すると、Apache Kafka やその他の Kafka API 互換ブローカーからデータを読み取ったり、それらにデータを書き込んだりできます。このオプションはオープンソース版の ClickHouse に含まれており、すべてのデプロイメント形態で利用できます。主な機能
- データの読み取りと書き込みに利用できます
- オープンソース版のClickHouseに同梱されています
- 一般的なシリアライゼーションフォーマット (JSON、Avro、Protobuf) のほとんどに対応しています
はじめに
Kafka テーブルエンジンを使い始めるには、リファレンスドキュメントを参照してください。オプションの選択
その他のオプション
- Confluent - Confluent Cloud では、完全マネージド型の ClickHouse Connector Sink を使用できるほか、カスタムコネクタとしてご自身でアップロードすることもできます。また、セルフマネージド、または Confluent Cloud 上で完全マネージド型として提供される HTTP Sink コネクタ を使用して、HTTP または HTTPS 経由で Apache Kafka を API と統合することも可能です。
- Vector - Vector はベンダーに依存しないデータパイプラインです。Kafka から読み取り、イベントを ClickHouse に送信できるため、堅牢なインテグレーションの選択肢となります。
- JDBC Connect Sink - Kafka Connect JDBC Sink コネクタを使用すると、Kafka トピックから任意のリレーショナルデータベースへ、JDBC ドライバーを使ってデータをエクスポートできます。
- カスタムコード - イベントに対するカスタム処理が必要な場合は、Kafka および ClickHouse の クライアントライブラリ を使用したカスタムコードが適していることがあります。