メインコンテンツまでスキップ
メインコンテンツまでスキップ

Confluent Cloud と ClickHouse の統合

前提条件​

以下に精通していることを前提とします：

ClickHouse の公式 Kafka コネクタと Confluent Cloud​

Confluent Cloud へのインストール​

これは、Confluent Cloud 上の ClickHouse Sink Connector を開始するための簡単なガイドです。 詳細については、公式の Confluent ドキュメント を参照してください。

トピックの作成​

Confluent Cloud 上にトピックを作成するのは非常に簡単で、詳細な手順はこちらにあります。

重要な注意点​

  • Kafka のトピック名は ClickHouse のテーブル名と同じである必要があります。これを調整する方法は、トランスフォーマーを使用することです（例： ExtractTopic）。
  • パーティションが多いことが常にパフォーマンス向上に繋がるわけではありません - 詳細やパフォーマンスのヒントについては今後のガイドを参照してください。

コネクタのインストール​

コネクタは、私たちのリポジトリからダウンロードできます - コメントや問題をその場所に送信しても問題ありません！

「コネクタプラグイン」->「プラグインを追加」に移動し、以下の設定を使用します：

例：

接続の詳細を収集する​

To connect to ClickHouse with HTTP(S) you need this information:

  • The HOST and PORT: typically, the port is 8443 when using TLS or 8123 when not using TLS.

  • The DATABASE NAME: out of the box, there is a database named default, use the name of the database that you want to connect to.

  • The USERNAME and PASSWORD: out of the box, the username is default. Use the username appropriate for your use case.

The details for your ClickHouse Cloud service are available in the ClickHouse Cloud console. Select the service that you will connect to and click Connect:

Choose HTTPS, and the details are available in an example curl command.

If you are using self-managed ClickHouse, the connection details are set by your ClickHouse administrator.

ClickHouseにHTTP(S)で接続するには、次の情報が必要です：

  • HOSTとPORT: 通常、ポートはTLSを使用する場合は8443、TLSを使用しない場合は8123です。

  • DATABASE NAME: デフォルトでは、defaultという名前のデータベースがあります。接続したいデータベースの名前を使用してください。

  • USERNAMEとPASSWORD: デフォルトでは、ユーザー名はdefaultです。ご利用のケースに適したユーザー名を使用してください。

ClickHouse Cloudサービスの詳細はClickHouse Cloudコンソールで確認できます。接続するサービスを選択し、Connectをクリックします：

HTTPSを選択すると、詳細が例のcurlコマンドで提供されます。

セルフマネージドのClickHouseを使用している場合、接続の詳細はClickHouseの管理者によって設定されます。

コネクタの設定​

Connectors -> Add Connector に移動し、以下の設定を使用します（値は例であることに注意してください）：

接続エンドポイントを指定する​

コネクタがアクセスできるエンドポイントの許可リストを指定する必要があります。 ネットワークのエグレスエンドポイントを追加する際には、完全修飾ドメイン名 (FQDN) を使用する必要があります。 例: u57swl97we.eu-west-1.aws.clickhouse.com:8443

注記

HTTP(S) ポートを指定する必要があります。コネクタはまだネイティブプロトコルをサポートしていません。

ドキュメントを読む。

これで準備は整いました！

知っておくべき制限事項​

  • カスタムコネクタは公共インターネットエンドポイントを使用する必要があります。静的 IP アドレスはサポートされていません。
  • 一部のカスタムコネクタのプロパティを上書きできます。完全なリストは公式ドキュメントを参照してください。
  • カスタムコネクタは一部の AWS リージョンでのみ利用可能です。
  • 公式ドキュメントにカスタムコネクタの制限事項のリストがあります。