ClickHouseとConfluent Cloudの統合
前提条件
以下に慣れていることを前提としています:
- ClickHouse Connector Sink
- Confluent Cloudおよびカスタムコネクタ。
Confluent Cloud用の公式Kafkaコネクタ
Confluent Cloudへのインストール
これは、Confluent Cloud上でClickHouse Sink Connectorを使用するためのクイックガイドです。 詳細については、公式Confluentドキュメントを参照してください。
トピックの作成
Confluent Cloud上でトピックを作成するのは比較的簡単で、詳細な手順はこちらにあります。
重要な注意事項
- Kafkaのトピック名はClickHouseのテーブル名と同じでなければなりません。この点を調整する方法として、トランスフォーマー（例えば
ExtractTopic）を使用します。 - パーティションが多いからといって常にパフォーマンスが向上するわけではありません - 詳細とパフォーマンスのヒントについては、今後のガイドを参照してください。
コネクタのインストール
コネクタはリポジトリからダウンロードできます。コメントや問題点についてもお気軽にお知らせください！
「コネクタプラグイン」->「プラグインを追加」に移動し、次の設定を使用します。
例:
接続詳細を収集する
ClickHouseにHTTP(S)で接続するには、次の情報が必要です:
-
HOST と PORT: 通常、ポートはTLSを使用する場合は8443、TLSを使用しない場合は8123です。
-
DATABASE NAME: デフォルトでは、
defaultという名前のデータベースがあります。接続したいデータベースの名前を使用してください。 -
USERNAME と PASSWORD: デフォルトでは、ユーザー名は
defaultです。あなたのユースケースに適したユーザー名を使用してください。
あなたのClickHouse Cloudサービスの詳細はClickHouse Cloudコンソールで確認できます。接続するサービスを選択し、Connectをクリックしてください:
HTTPSを選択すると、詳細は例のcurlコマンドに表示されます。
セルフマネージドのClickHouseを使用している場合、接続の詳細はあなたのClickHouse管理者によって設定されています。
コネクタの設定
Connectors -> Add Connectorに移動し、次の設定を使用します（値は例に過ぎないことに注意してください）:
接続エンドポイントを指定する
コネクタがアクセスできるエンドポイントの許可リストを指定する必要があります。
ネットワークの出口エンドポイントを追加する際は、完全修飾ドメイン名 (FQDN) を使用しなければなりません。
例: u57swl97we.eu-west-1.aws.clickhouse.com:8443
HTTP(S)ポートを指定する必要があります。コネクタはネイティブプロトコルをまだサポートしていません。
これで準備は整いました！
知っておくべき制限事項
- カスタムコネクタはパブリックインターネットエンドポイントを使用する必要があります。静的IPアドレスはサポートされていません。
- 一部のカスタムコネクタのプロパティを上書きすることができます。詳細は公式ドキュメントの一覧を参照してください。
- カスタムコネクタは一部のAWSリージョンでのみ利用可能です。
- 公式ドキュメントにおけるカスタムコネクタの制限事項の一覧を参照してください。