Confluent Cloud 上の完全マネージド型 ClickHouse Connector Sink

​

前提条件

以下について理解していることを前提としています。

• ClickHouse Connector Sink
• Confluent Cloud

​

ClickHouse の公式 Kafka コネクタを Confluent Cloud で使う

​

トピックの作成

Confluent Cloud でトピックを作成するのは比較的簡単です。詳しい手順はこちらを参照してください。

​

重要な注意点

• Kafkaトピック名は、ClickHouseのテーブル名と同じである必要があります。これを調整するには、トランスフォーマー (たとえば ExtractTopic) を使用します。
• パーティション数が多ければ、必ずしもパフォーマンスが向上するわけではありません。詳細やパフォーマンス改善のヒントについては、近日公開予定のガイドをご覧ください。

​

接続情報を確認する

HTTP(S) で ClickHouse に接続するには、次の情報が必要です。 ClickHouse Cloud サービスの詳細は、ClickHouse Cloud コンソールで確認できます。 サービスを選択し、Connect をクリックします。 HTTPS を選択します。接続情報は curl コマンドの例として表示されます。 セルフマネージド ClickHouse を使用している場合、接続情報は ClickHouse 管理者によって設定されます。

​

コネクタのインストール

公式ドキュメントに従って、Confluent Cloud に完全マネージド型の ClickHouse Sink Connector をインストールします。

​

コネクタを設定する

ClickHouse Sink Connector の設定時に、次の情報を指定する必要があります。

• ClickHouse サーバーのホスト名
• ClickHouse サーバーのポート (デフォルトは 8443)
• ClickHouse サーバーのユーザー名とパスワード
• データの書き込み先となる ClickHouse 内のデータベース名
• ClickHouse へのデータの書き込みに使用する Kafka のトピック名

Confluent Cloud UI では、ポーリング間隔、バッチサイズ、その他のパラメータを調整してパフォーマンスを最適化できる高度な設定オプションがサポートされています。

​

既知の制限事項

• 公式ドキュメントのコネクタの制限事項一覧をご覧ください