Kafka ClickPipes FAQ

General

ClickPipes for Kafkaはどのように機能しますか？

ClickPipesは、特定のトピックからデータを読み取るためにKafka Consumer APIを使用して専用のアーキテクチャを実行し、そのデータを特定のClickHouse CloudサービスのClickHouseテーブルに挿入します。

ClickPipesとClickHouse Kafka Table Engineの違いは何ですか？

Kafka Tableエンジンは、ClickHouseサーバー自体がKafkaに接続し、イベントをプルしてローカルに書き込む「プルモデル」を実装するClickHouseのコア機能です。

ClickPipesは、ClickHouseサービスとは独立して動作する別のクラウドサービスです。Kafka（または他のデータソース）に接続し、関連するClickHouse Cloudサービスにイベントをプッシュします。この分離されたアーキテクチャにより、優れた運用の柔軟性、明確な責任の分離、スケーラブルな取り込み、優れた障害管理、拡張性などが実現します。

ClickPipes for Kafkaを使用するための要件は何ですか？

ClickPipes for Kafkaを使用するには、稼働中のKafkaブローカーとClickPipesが有効になっているClickHouse Cloudサービスが必要です。また、ClickHouse CloudがKafkaブローカーにアクセスできるようにする必要があります。これは、Kafka側でリモート接続を許可し、Kafka設定でClickHouse Cloud出口IPアドレスをホワイトリストに登録することで実現できます。あるいは、AWS PrivateLinkを使用して、ClickPipes for KafkaをKafkaブローカーに接続できます。

ClickPipes for KafkaはAWS PrivateLinkをサポートしていますか？

AWS PrivateLinkはサポートされています。設定方法の詳細については、ドキュメントを参照してください。

ClickPipes for Kafkaを使用してKafkaトピックにデータを書き込むことはできますか？

いいえ、ClickPipes for KafkaはKafkaトピックからデータを読み取るために設計されており、トピックにデータを書き込むためではありません。Kafkaトピックにデータを書き込むには、専用のKafkaプロデューサーを使用する必要があります。

ClickPipesは複数のブローカーをサポートしていますか？

はい、同じクオーラムの一部であれば、カンマで区切って一緒に構成できます。

ClickPipesのレプリカをスケールできますか？

はい、ClickPipes for streamingは水平方向と垂直方向の両方にスケールできます。水平方向のスケーリングはスループットを増加させるためにより多くのレプリカを追加し、垂直方向のスケーリングは各レプリカに割り当てるリソース（CPUとRAM）を増加させて、より集中的なワークロードを処理します。これはClickPipe作成時に、または設定 -> 高度な設定 -> スケーリングでいつでも構成できます。

Azure Event Hubs

Azure Event Hubs ClickPipeはKafkaサーフェスなしで機能しますか？

いいえ。ClickPipesはEvent HubsネームスペースにKafkaサーフェスが有効であることを要求します。これは基本を超えるティアでのみ利用可能です。詳細については、Azure Event Hubsのドキュメントを参照してください。

Azure Schema RegistryはClickPipesと連携しますか？

いいえ。ClickPipesは、Confluent Schema RegistryとAPI互換性のあるスキーマレジストリのみをサポートしており、Azure Schema Registryはこれに該当しません。このスキーマレジストリのサポートが必要な場合は、私たちのチームにお問い合わせください。

Azure Event Hubsから消費するために、私のポリシーにはどんな権限が必要ですか？

トピックをリストし、イベントを消費するためには、ClickPipesに与えられる共有アクセスポリシーは、少なくとも「Listen」クレームが必要です。

なぜ私のEvent Hubsがデータを返さないのですか？

ClickHouseインスタンスがEvent Hubsのデプロイメントと異なるリージョンまたは大陸にある場合、ClickPipesのオンボーディング時にタイムアウトが発生し、Event Hubからデータを消費する際に高いレイテンシが発生する可能性があります。性能オーバーヘッドを避けるために、ClickHouse CloudとAzure Event Hubsを同じクラウドリージョン、または近接するリージョンにデプロイすることをお勧めします。

Azure Event Hubsのポート番号を含めるべきですか？

はい。ClickPipesはKafkaサーフェスのポート番号を含むことを期待しており、それは:9093です。

ClickPipesのIPアドレスは、Azure Event Hubsに対して依然として関連性がありますか？

はい。Event Hubsインスタンスへのトラフィックを制限するために、文書化された静的NAT IPsを追加してください。

接続文字列はEvent Hubのものですか、それともEvent Hubネームスペースのものですか？

両方とも機能します。複数のEvent Hubsからサンプルを取得するために、ネームスペースレベルで共有アクセスポリシーを使用することを強く推奨します。