はじめに
サポートされているデータソース
| 名前 | タイプ | ステータス | 説明 |
|---|---|---|---|
 Apache Kafka | ストリーミング | 安定版 | ClickPipes を設定し、Apache Kafka から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
 Confluent Cloud | ストリーミング | 安定版 | 直接インテグレーションを通じて、Confluent と ClickHouse Cloud の連携を最大限に活用できます。 |
 Redpanda | ストリーミング | 安定版 | ClickPipes を設定し、Redpanda から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
 AWS MSK | ストリーミング | 安定版 | ClickPipes を設定して、AWS MSK から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
 Azure Event Hubs | ストリーミング | 安定版 | ClickPipes を設定し、Azure Event Hubs から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。詳細については、Azure Event Hubs よくある質問を参照してください。 |
 WarpStream | ストリーミング | 安定版 | ClickPipes を設定して、WarpStream から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
 Amazon Kinesis | ストリーミング | 安定版 | ClickPipes を設定して、Amazon Kinesis から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
 GCP Pub/Sub | ストリーミング | プライベートプレビュー | ClickPipes を設定して、Google Cloud Pub/Sub から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
 Amazon S3 | オブジェクトストレージ | 安定版 | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込めます。 |
 Google Cloud ストレージ | オブジェクトストレージ | 安定版 | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込めます。 |
 DigitalOcean Spaces | オブジェクトストレージ | 安定版 | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。 |
 Azure Blob Storage | オブジェクトストレージ | 安定版 | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。 |
 Postgres | DBMS | 安定版 | ClickPipes を設定し、Postgres から ClickHouse Cloud へのデータ取り込みを開始します。 |
 MySQL | DBMS | パブリックベータ | ClickPipes を設定し、MySQL から ClickHouse Cloud へのデータ取り込みを開始します。 |
 MongoDB | DBMS | プライベートプレビュー | ClickPipes を設定し、MongoDB から ClickHouse Cloud へのデータ取り込みを開始します。 |
AWS IAM データベース認証
固定 IP の一覧
ClickHouse設定の調整
- カスタムロール
CREATE ROLE my_clickpipes_role SETTINGS ...を作成します。詳細は CREATE ROLE の構文を参照してください。 - ClickPipes の作成時に、
Details and Settingsステップで ClickPipes ユーザーにカスタムロールを追加します。
ClickPipes の高度な設定の調整
オブジェクトストレージ 用 ClickPipes
ストリーミング ClickPipes
エラーの報告
これは現在、CDC パイプ (Postgres、MySQL、MongoDB) には適用されません。これらについては、運用ログとエラーログを ClickHouse Cloud コンソールで直接確認できます。
レコードエラー
<destination_table_name>_clickpipes_error となるテーブルを作成します。このテーブルには、データ形式の不正やスキーマの不一致によって発生したエラーが格納され、無効なメッセージ全体も記録されます。このテーブルの 有効期限 (TTL) は 7 日です。
システムエラー
system.clickpipes_log テーブルに保存されます。このテーブルには、ClickPipe の動作に関するその他のエラー (ネットワークや接続など) もすべて保存されます。このテーブルの 有効期限 (TTL) は 7 日間です。
ClickPipes が 15 分以内にデータソースに接続できない場合、または 1 時間以内に宛先に接続できない場合、ClickPipes インスタンスは停止し、適切なメッセージをシステムエラーテーブルに保存します (ClickHouse インスタンスが利用可能な場合) 。
監視
よくある質問
- ClickPipes とは何ですか？ ClickPipes は ClickHouse Cloud の機能で、ClickHouse サービスを外部データソース、特に Kafka に簡単に接続できます。Kafka 向け ClickPipes を使うと、データを ClickHouse に継続的に簡単に取り込み、リアルタイム分析に利用できるようになります。
- ClickPipes はデータ変換をサポートしていますか？ はい。ClickPipes は DDL を作成できるため、基本的なデータ変換をサポートしています。さらに、ClickHouse の materialized view 機能 を活用することで、ClickHouse Cloud サービス内の宛先テーブルにデータが読み込まれる際に、より高度な変換を適用できます。
- ClickPipes を使用すると追加料金が発生しますか？ ClickPipes の課金は、取り込みデータとコンピュートの 2 つの項目に基づいて行われます。料金の詳細は このページ を参照してください。ClickPipes を実行すると、他の取り込みワークロードと同様に、宛先の ClickHouse Cloud サービスで間接的なコンピュートおよびストレージのコストが発生する場合もあります。
- Kafka 向け ClickPipes の使用時にエラーや障害に対処する方法はありますか？ はい。Kafka からデータを取り込む際に、ネットワークや接続の問題などの運用上の理由で障害が発生した場合、Kafka 向け ClickPipes は自動的に再試行します。データの形式不正や無効なスキーマが発生した場合、ClickPipes はそのレコードを record_error テーブルに保存し、処理を継続します。