Integrating ClickHouse with Kafka using Named Collections

Introduction

このガイドでは、名前付きコレクションを使用してClickHouseをKafkaに接続する方法を探ります。名前付きコレクションの設定ファイルを使用することにはいくつかの利点があります：

• 設定の中央管理と簡易化。
• SQLテーブル定義を変更することなく設定の変更が可能。
• 単一の設定ファイルを検査することで、設定の確認や問題解決が容易に。

このガイドは、Apache Kafka 3.4.1およびClickHouse 24.5.1でテストされました。

Assumptions

このドキュメントは、次のことを前提としています：

1. 動作中のKafkaクラスタ。
2. セットアップされ、稼働中のClickHouseクラスタ。
3. SQLの基礎知識と、ClickHouseおよびKafkaの設定に精通していること。

Prerequisites

名前付きコレクションを作成するユーザーが必要なアクセス権を持っていることを確認してください：

アクセス制御を有効にする詳細については、ユーザー管理ガイドを参照してください。

Configuration

ClickHouseの config.xml ファイルに次のセクションを追加します：

Configuration Notes

1. Kafkaのアドレスおよび関連する設定を、あなたのKafkaクラスタのセットアップに合わせて調整してください。
2. <kafka>の前のセクションにはClickHouse Kafkaエンジンのパラメーターが含まれています。パラメーターの完全なリストについては、Kafkaエンジンのパラメーターを参照してください。
3. <kafka>内のセクションには拡張Kafka設定オプションが含まれています。詳細なオプションについては、librdkafkaの設定を参照してください。
4. この例では SASL_SSL セキュリティプロトコルと PLAIN メカニズムを使用しています。これらの設定は、あなたのKafkaクラスタの構成に基づいて調整してください。

Creating Tables and Databases

ClickHouseクラスタ上で必要なデータベースとテーブルを作成します。ClickHouseを単一ノードとして実行している場合は、SQLコマンドのクラスター部分を省略し、ReplicatedMergeTreeの代わりに他のエンジンを使用します。

Create the Database

Create Kafka Tables

最初のKafkaクラスタ用の最初のKafkaテーブルを作成します：

2つ目のKafkaクラスタ用の2つ目のKafkaテーブルを作成します：

Create Replicated Tables

最初のKafkaテーブル用のテーブルを作成します：

2つ目のKafkaテーブル用のテーブルを作成します：

Create Materialized Views

最初のKafkaテーブルから最初の複製テーブルにデータを挿入するためのマテリアライズドビューを作成します：

2つ目のKafkaテーブルから2つ目の複製テーブルにデータを挿入するためのマテリアライズドビューを作成します：

Verifying the Setup

Kafkaクラスタ上に関連する消費者グループが見えるはずです：

• cluster_1_clickhouse_consumer on cluster_1
• cluster_2_clickhouse_consumer on cluster_2

どのClickHouseノードでも次のクエリを実行して、両方のテーブルのデータを確認します：

Note

このガイドでは、両方のKafkaトピックに取り込まれたデータは同じです。実際には、異なる場合があります。必要に応じて、任意の数のKafkaクラスタを追加できます。

例の出力：

これで、名前付きコレクションを使用してClickHouseとKafkaを統合する設定が完了しました。ClickHouseの config.xml ファイルにKafka設定を集中させることで、設定の管理と調整が容易になり、効率的な統合を保証します。