Kafka ClickPipes FAQ
Kafka ClickPipes FAQ
General
ClickPipes for Kafkaはどのように機能しますか?
ClickPipesは、特定のトピックからデータを読み取るためにKafka Consumer APIを使用して専用のアーキテクチャを実行し、そのデータを特定のClickHouse CloudサービスのClickHouseテーブルに挿入します。
ClickPipesとClickHouse Kafka Table Engineの違いは何ですか?
Kafka Tableエンジンは、ClickHouseサーバー自体がKafkaに接続し、イベントをプルしてローカルに書き込む「プルモデル」を実装するClickHouseのコア機能です。
ClickPipesは、ClickHouseサービスとは独立して動作する別のクラウドサービスです。Kafka(または他のデータソース)に接続し、関連するClickHouse Cloudサービスにイベントをプッシュします。この分離されたアーキテクチャにより、優れた運用の柔軟性、明確な責任の分離、スケーラブルな取り込み、優れた障害管理、拡張性などが実現します。
ClickPipes for Kafkaを使用するための要件は何ですか?
ClickPipes for Kafkaを使用するには、稼働中のKafkaブローカーとClickPipesが有効になっているClickHouse Cloudサービスが必要です。また、ClickHouse CloudがKafkaブローカーにアクセスできるようにする必要があります。これは、Kafka側でリモート接続を許可し、Kafka設定でClickHouse Cloud出口IPアドレスをホワイトリストに登録することで実現できます。あるいは、AWS PrivateLinkを使用して、ClickPipes for KafkaをKafkaブローカーに接続できます。
ClickPipes for KafkaはAWS PrivateLinkをサポートしていますか?
AWS PrivateLinkはサポートされています。設定方法の詳細については、ドキュメントを参照してください。
ClickPipes for Kafkaを使用してKafkaトピックにデータを書き込むことはできますか?
いいえ、ClickPipes for KafkaはKafkaトピックからデータを読み取るために設計されており、トピックにデータを書き込むためではありません。Kafkaトピックにデータを書き込むには、専用のKafkaプロデューサーを使用する必要があります。
ClickPipesは複数のブローカーをサポートしていますか?
はい、同じクオーラムの一部であれば、カンマで区切って一緒に構成できます。
ClickPipesのレプリカをスケールできますか?
はい、ClickPipes for streamingは水平方向と垂直方向の両方にスケールできます。水平方向のスケーリングはスループットを増加させるためにより多くのレプリカを追加し、垂直方向のスケーリングは各レプリカに割り当てるリソース(CPUとRAM)を増加させて、より集中的なワークロードを処理します。これはClickPipe作成時に、または設定 -> 高度な設定 -> スケーリングでいつでも構成できます。
Azure Event Hubs
Azure Event Hubs ClickPipeはKafkaサーフェスなしで機能しますか?
いいえ。ClickPipesはEvent HubsネームスペースにKafkaサーフェスが有効であることを要求します。これは基本を超えるティアでのみ利用可能です。詳細については、Azure Event Hubsのドキュメントを参照してください。
Azure Schema RegistryはClickPipesと連携しますか?
いいえ。ClickPipesは、Confluent Schema RegistryとAPI互換性のあるスキーマレジストリのみをサポートしており、Azure Schema Registryはこれに該当しません。このスキーマレジストリのサポートが必要な場合は、私たちのチームにお問い合わせください。
Azure Event Hubsから消費するために、私のポリシーにはどんな権限が必要ですか?
トピックをリストし、イベントを消費するためには、ClickPipesに与えられる共有アクセスポリシーは、少なくとも「Listen」クレームが必要です。
なぜ私のEvent Hubsがデータを返さないのですか?
ClickHouseインスタンスがEvent Hubsのデプロイメントと異なるリージョンまたは大陸にある場合、ClickPipesのオンボーディング時にタイムアウトが発生し、Event Hubからデータを消費する際に高いレイテンシが発生する可能性があります。性能オーバーヘッドを避けるために、ClickHouse CloudとAzure Event Hubsを同じクラウドリージョン、または近接するリージョンにデプロイすることをお勧めします。
Azure Event Hubsのポート番号を含めるべきですか?
はい。ClickPipesはKafkaサーフェスのポート番号を含むことを期待しており、それは:9093
です。
ClickPipesのIPアドレスは、Azure Event Hubsに対して依然として関連性がありますか?
はい。Event Hubsインスタンスへのトラフィックを制限するために、文書化された静的NAT IPsを追加してください。
接続文字列はEvent Hubのものですか、それともEvent Hubネームスペースのものですか?
両方とも機能します。複数のEvent Hubsからサンプルを取得するために、ネームスペースレベルで共有アクセスポリシーを使用することを強く推奨します。