ClickPipes 向け MongoDB CDC コネクタがパブリックベータになりました

ClickPipes MongoDB CDC コネクターがパブリックベータになりました！ 🚀

プライベートプレビュー期間中に数十社のアーリーアクセスユーザーと協力した結果、シャードクラスターと Amazon DocumentDB のサポートを追加し、本番ワークロード向けの信頼性を向上させ、プライベートな MongoDB デプロイ環境へのセキュアな接続をより容易にしました。

1 回限りの移行を実行する場合でも、分析のために運用データを継続的にレプリケーションする場合でも、カスタムパイプラインを管理するオーバーヘッドなしで、このコネクターにより最大 100 倍高速なクエリを実現できます。

ClickHouse Cloud にサインアップして、ClickPipes 向け MongoDB CDC コネクターをお試しください！

ご利用のユーザーからの声をご紹介します:

ClickPipes を使う前は、MongoDB のデータを ClickHouse にレプリケーションするために複数のツールに依存しており、その多くは継続的なメンテナンスや手動での介入を必要としていました。ClickPipes の MongoDB コネクターに切り替えたところ、それらの問題は解消されました。初期セットアップはシンプルで、一度設定してしまえば継続的な対応は不要でした。マテリアライズドビューを使用することで、データモデリングが柔軟になり、容易に進化させることができます。

全体として、ClickPipes は運用オーバーヘッドを大幅に削減してくれ、分析ワークロード向けに 1 日あたり数テラバイトのビジネスデータをレプリケーションする用途で素晴らしい成果を上げています。 - Rapidata

パブリックベータの新機能 #

より広範なプラットフォーム互換性 #

MongoDB CDC コネクターは最初、単一のレプリカセットのサポートから開始しました。今回、シャードクラスターへとサポートを拡張し、単一のレプリカセットであっても、複数のシャードにデータが分散された分散デプロイ環境であっても、あらゆる規模の一般的な MongoDB トポロジーからのレプリケーションが可能になりました。

また、MongoDB と API 互換性を持つフルマネージドなドキュメントデータベースサービスである Amazon DocumentDB との互換性も追加しました。チェンジストリームレプリケーション用に DocumentDB を設定する手順については、新しい統合ガイドをご覧ください。

セキュアな接続オプション #

本番環境では必須要件となるプライベートネットワーク内の MongoDB インスタンスへのセキュアな接続を可能にするため、新しい MongoDB ClickPipe の作成時に AWS PrivateLink と SSH トンネリングの両方を設定できるようになりました。さらに X.509 証明書認証のサポートも追加し、コネクターと MongoDB デプロイ環境との間での相互 TLS 認証を実現しました。

本番環境への対応力 (Production-readiness) #

プライベートプレビューでのフィードバックに基づき、信頼性とオブザーバビリティを大幅に改善しました。コネクターはデータ型の特殊なエッジケース (例: 非常に大きな浮動小数点数、標準範囲外の日付) をより適切に処理するようになり、強化されたエラー分類によって、以前なら不要なアラートをトリガーしていた一時的な障害を自動的にリトライします。

また、初期スナップショットフェーズも改良し、非圧縮データサイズを計測するよりスマートなバッチ処理ロジックによって メモリ不足 (OOM) の問題を防止 します。これにより、アーリーアクセス期間中に大規模デプロイ環境で確認された最も重大な運用上の問題が解消されました。非常に大きなコレクションの取り込み時に、MongoDB の高い JSON 圧縮率が原因で解凍後のバッチサイズが予期せず膨張してしまう問題です。💥

主な機能 #

これらのパブリックベータでの改善点に加え、MongoDB CDC コネクターは MongoDB から ClickHouse Cloud へのリアルタイムレプリケーションの信頼性とパフォーマンスを確保するために設計された、いくつかのコア機能を提供します:

リアルタイムレプリケーション #

コネクターは MongoDB ネイティブの Change Streams インターフェースを活用し、すべてのドキュメント変更を低レイテンシでキャプチャして、MongoDB と ClickHouse Cloud 間のニアリアルタイムな同期を保証します。この組み合わせは、運用の柔軟性と分析パフォーマンスの両方を必要とする最新のアプリケーションに対して強力なアーキテクチャを生み出し、分析を最大 100 倍高速化します。私たちはこれを Document Data Stack と呼んでいます。

高スループットな CRUD 操作や効率的なドキュメント検索など、ミッションクリティカルな運用ワークロードの処理に MongoDB クラスターを専念させつつ、ClickHouse Cloud はアップストリームのパフォーマンスに影響を与えることなく、複雑な分析クエリ、レポート作成、ビジネスインテリジェンスのワークロードを処理します。

高度な JSON サポート #

MongoDB のリッチなドキュメント構造を維持し、高精度なレプリケーションを提供するため、コネクターは ClickHouse の強力なネイティブ JSON データ型を使用します。これにより、半構造化データに対する高性能な分析クエリが可能になると同時に、圧縮の最適化とストレージコストの削減が図れます。

フルマネージドなエクスペリエンス #

コネクターは ClickHouse Cloud のエクスペリエンスに完全に統合されています。レプリケーションの健全性を可視化する組み込みのメトリクスとモニタリング、エラーの診断やデバッグのための詳細なログ、インプレースでのパイプ編集などを提供します。

今後の予定 #

一般提供 (GA) に向けて、本番ワークロード向けにコネクターをより高速かつ柔軟にすることに注力しています。

• 並列スナップショット取り込み: 現状、コネクターは単一スレッドでコレクションのスナップショットを取得しているため、初期スナップショットフェーズが非常に長くなる可能性があります。大規模なコレクションに対する初回ロード時間を短縮するため、(論理的な) パーティショニング戦略の評価を進めています。

• フラット化モード (Flattened mode): トップレベルのドキュメントフィールドをターゲットのカラムに自動的にマッピングするオプションを追加する予定です。これにより、スキーマの進化に対応する機能を維持しながら、レプリケーションされたデータのモデリングやクエリがより容易になります。

• OpenAPI と Terraform のサポート: Infrastructure as Code でインフラを管理しているチーム向けに、他の ClickPipe タイプと同様に、OpenAPI と Terraform 経由で MongoDB ClickPipes を利用できるようにする予定です。

課金について: MongoDB CDC ClickPipes の利用は、GA までは引き続き無料です。GA 開始前に、ClickPipes の利用状況の確認と最適化を行っていただけるよう、ユーザーの皆様へ事前に通知いたします。今後のコストの見積もりについては、Postgres CDC ClickPipes の課金をご参照ください。

MongoDB CDC コネクターを使い始める #

MongoDB CDC コネクターは、すべてのサービスクラスにおいて、新規および既存の ClickHouse Cloud ユーザーにご利用いただけます。使い始めるには、ClickHouse Cloud コンソールの Data Sources タブに移動し、MongoDB データベースの接続詳細を設定するだけで準備は完了です。ステップバイステップの手順、よくある質問、注意点については、MongoDB ClickPipes のドキュメントをご覧ください。