MongoDBからClickHouseへのデータの取り込み（CDCを使用）

参考

ClickPipesを介してMongoDBからClickHouse Cloudへのデータの取り込みは公開ベータ版です。

注記

ClickHouse Cloudのコンソールおよびドキュメントでは、MongoDBの「テーブル」と「コレクション」は互換的に使用されています。

ClickPipesを使用してMongoDBデータベースからClickHouse Cloudにデータを取り込むことができます。ソースのMongoDBデータベースは、オンプレミスまたはMongoDB Atlasのようなサービスを使用してクラウドにホストできます。

前提条件

開始するには、まずMongoDBデータベースが正しくレプリケーションのために設定されていることを確認する必要があります。設定手順はMongoDBのデプロイ方法によって異なるため、以下の関連ガイドに従ってください：

ソースのMongoDBデータベースがセットアップされたら、ClickPipeの作成を続けることができます。

ClickHouse Cloudアカウントにログインしていることを確認してください。まだアカウントがない場合は、こちらからサインアップできます。

前提条件のステップで設定したソースMongoDBデータベースの接続詳細を入力します。

参考
接続詳細を追加する前に、ClickPipesのIPアドレスがファイアウォールルールでホワイトリストに登録されていることを確認してください。次のページにはClickPipesのIPアドレスのリストがあります。詳細については、このページの上部にリンクされているソースMongoDB設定ガイドを参照してください。

接続詳細が入力されたら、Nextをクリックします。

必要に応じて詳細設定を構成できます。各設定の簡単な説明は以下の通りです：

同期間隔: ClickPipesがソースデータベースをポーリングする間隔です。これは、コストに敏感なユーザーにとって、宛先のClickHouseサービスに影響を与えるため、値を高く（3600以上）保つことをお勧めします。
取得バッチサイズ: 一度に取得する行の数です。これは最善の努力による設定であり、すべてのケースで尊重されるわけではありません。
初期スナップショットで並行して取得するテーブル数: 初期スナップショット中に並行して取得されるテーブルの数です。多数のテーブルがある場合に、並行して取得するテーブルの数を制御するのに便利です。

ここでClickPipeの宛先データベースを選択できます。既存のデータベースを選択するか、新しいデータベースを作成できます。
ソースMongoDBデータベースからレプリケートしたいテーブルを選択できます。テーブルを選択する際に、宛先のClickHouseデータベースでテーブルの名前を変更することもできます。

MongoDBからClickHouse CloudへのデータをレプリケートするClickPipeを設定したら、データを最適なパフォーマンスでクエリおよびモデル化する方法に集中できます。

このコネクタを使用するときに注意すべきいくつかの注意事項があります：

MongoDBのバージョンは5.1.0以上が必要です。
CDCのためにMongoDBのネイティブなChange Streams APIを使用します。これはMongoDBのoplogに依存してリアルタイムの変更をキャプチャします。
MongoDBのドキュメントはデフォルトでJSONタイプとしてClickHouseにレプリケートされます。これにより柔軟なスキーマ管理が可能になり、ClickHouseの豊富なJSON演算子を使用してクエリおよび分析が行えます。JSONデータのクエリについての詳細はこちらを参照してください。
セルフサービスのPrivateLink設定は現在利用できません。AWSでPrivateLinkが必要な場合は、[email protected]にお問い合わせいただくか、サポートチケットを作成してください。私たちはそれを有効にするために協力します。