5万
ClickHouse とネイティブに統合された、高速でスケーラブルかつエンタープライズグレードのマネージド Postgres サービスを発表いたします。リアルタイムアプリケーションや AI 駆動型アプリケーション向けに構築されています。従来の複雑さを伴わずにトランザクションと分析のワークロードを統合する Unified Data Stack を提供します。トランザクション向けの Postgres と分析向けの ClickHouse を組み合わせることで、オープンソースを基盤としながら最高水準のパフォーマンスとスケーラビリティを獲得し、運用のオーバーヘッドを大幅に削減できます。
開発者は、ローカル NVMe ストレージに支えられた高性能でスケーラブルな Postgres サービスを利用でき、主にディスクがボトルネックとなる急速に増加するワークロードに対して最大 10 倍高速なパフォーマンスを実現します。わずか数クリックで、ネイティブの CDC 機能を活用して Postgres 内のトランザクションデータを ClickHouse に同期し、分析可能な状態に整えることで、最大 100 倍高速な分析が可能になります。pg_clickhouse Postgres 拡張機能による統合クエリレイヤーにより、個別のシステムを管理することなく、トランザクションと分析にシームレスにまたがるアプリケーションを構築できます。
このデモでは、さまざまなコンポーネントが連携して、Postgres と ClickHouse を基盤とする Unified Data Stack を構成する様子を紹介します。
これを実現するために、私たちは Ubicloud と提携しています。同社は最速クラスの Postgres サービスを提供するオープンソースクラウド企業であり、その創業チームは Citus Data、Heroku、Microsoft で世界水準の Postgres を提供してきた実績を持ちます。
ClickHouse の大規模ユーザーである Beehiiv の CTO、Noah Pryor 氏は今回のリリースへの期待を次のように語っています。「ClickHouse が Postgres エコシステムに参入することを嬉しく思います。Beehiiv では、顧客向けのミッションクリティカルなアプリケーションを支えるために、Postgres と ClickHouse の双方を多用しています。これまで両テクノロジーの統合に多大な労力を投資してきたため、両者の統合がより緊密かつネイティブになれば、当社のアーキテクチャは大幅に簡素化されます」
ClickHouse Managed Postgres を選ぶ理由
パフォーマンスとスケールを追求した Postgres
Postgres を利用する数千の急成長中 AI 企業において、パフォーマンスとスケーラビリティは常に課題となっています。一般的な問題としては、取り込みの遅延 (主に更新処理)、バキュームの遅延、読み取りと書き込みのテールレイテンシの増加、ロック競合を引き起こす時間のかかる遅いトランザクション、突発的な WAL 急増などが挙げられます。多くの場合、これらの問題の原因は限られたディスク IOPS と不十分なディスクレイテンシにあります。無制限の IOPS があれば、Postgres は現在の他のマネージド Postgres サービスの大半よりも効率的に動作できます。
ClickHouse Managed Postgres は、NVMe ストレージを基盤とするエンタープライズグレードのマネージド Postgres サービスです。NVMe ストレージはコンピュートと物理的に同一ノードに配置されているため、ディスクアクセスにネットワークの往復が必要な EBS ボリュームなどの代替手段に比べて、桁違いに低いディスクレイテンシと高い IOPS を実現します。その結果、ディスクアクセスレイテンシはミリ秒単位ではなくマイクロ秒単位になります。主にディスク IOPS とレイテンシによってボトルネックが発生している急成長中の Postgres ワークロードにおいて、他の Postgres プロバイダーと比較して、同じコストかつ同等のハードウェア構成で最大 10 倍の高速化が見込めます。
「ClickHouse が中核である OLAP データベースを補完するネイティブな Postgres サービスを提供してくれることを心強く思っています。NVMe ベースの Postgres のパフォーマンスに加え、高速な分析を実現する CDC や pg_clickhouse とのシームレスな統合は、急速に成長している私たちのアプリケーションを構築する上で非常に魅力的です」 - Blacksmith.sh 共同創業者、Aditya Maru 氏
下の画像は、従来の Postgres から NVMe ベースの Postgres へ移行した際の、ディスクバウンドなワークロードにおける P99 レイテンシの削減効果を示しています。
卓越した Ubicloud の NVMe ベース Postgres
最適なアーキテクチャを選定するため、私たちはパートナー候補として多数の Postgres プロバイダーを評価しました。その中で Ubicloud は、私たちが確認していたユーザー課題を解決する NVMe ストレージベースの信頼性の高い Postgres サービスを提供しており、実際のベンチマークにおいて他社プロバイダーを桁違いに上回っていたことで際立っていました。選定プロセスの詳細については、今後のブログ記事で公開する予定です。
ストレージとコンピュートの分離を含む代替アーキテクチャも評価しましたが、一貫性があり予測可能なレイテンシとスループットが不可欠な OLTP ワークロードには、オブジェクトストレージベースの Postgres は適していないことが分かりました。オブジェクトストレージは分析には適していますが、レイテンシが高く I/O の粒度が粗いため、トランザクションのパターンを支えるのは困難です。このトレードオフについては、後続のブログ記事で詳しく掘り下げます。
ClickHouse との緊密な統合
開発者は手元の Postgres を ClickHouse とネイティブに統合し、100 倍高速な分析を実現できます。この統合を可能にする 2 つの重要な機能が備わっています。これらの機能は、トランザクション用の Postgres と分析用の ClickHouse をオーバーヘッドなしで組み合わせ、Unified Data Stack を支える中核となります。
下の図は Unified Data Stack を表しており、OLTP 用の Postgres、OLAP 用の ClickHouse、両者間の継続的なレプリケーション、そして pg_clickhouse エクステンションによる統合クエリレイヤーを示しています。
Postgres から ClickHouse へのレプリケーション
Postgres のデータをリアルタイムで ClickHouse にシームレスにレプリケーションし、分析可能な状態にします。既存のデータを ClickHouse に移行するための初期ロードと、増分同期のための CDC の両方をサポートしています。この機能は ClickPipes の Postgres CDC コネクタによって動作しており、毎月数百 TB を移行している数百社のエンタープライズユーザーによって実環境で検証されています。
さらに、サブ秒単位のレプリケーションレイテンシや、確実なスロットフラッシュを実現するロジカルレプリケーション v2 を使用した処理中トランザクションのレプリケーションなど、よりネイティブな CDC に向けた追加機能の提供を予定しています。これらはすべて、私たちのネイティブ Postgres サービス限定の機能となります。
pg_clickhouse: OLTP と OLAP のための統合クエリレイヤー
すべての Postgres サービスには、Postgres から ClickHouse へ直接クエリを実行できる Postgres エクステンション pg_clickhouse が付属しています。これにより、Postgres は統合クエリレイヤーとして機能し、トランザクションだけでなく、内部で ClickHouse を活用した分析も処理できるようになるため、開発者は容易にアプリケーションを構築できます。
pg_clickhouse は、効率的なクエリ実行のために ClickHouse への包括的なクエリプッシュダウンを提供しており、FILTER、JOIN、SEMI-JOIN、集計、関数などをサポートしています。現在、22 の TPC-H クエリのうち 14 が完全にプッシュダウンされ、標準の Postgres と比較して 60 倍以上のパフォーマンス向上を実現しています。
私たちは、CTE やウィンドウ関数など、より複雑なクエリへのプッシュダウンサポートの拡大を継続していく予定です。これらはすべて、ClickHouse のパワーを活かしつつ、ユーザーが Postgres レイヤー自体から高速な分析を構築できるようにすることを目的としています。
ユーザーは、背後で ClickHouse テーブルを参照する外部テーブルを Postgres 内にシームレスに作成し、その外部テーブルを使用して分析を開始できます。pg_clickhouse の進化に伴い、レプリケーションされたデータに対する外部テーブルの自動作成や、適切なエンジン (Postgres または ClickHouse) へのトランザクションと分析の自動ルーティングなど、この体験を可能な限り使い勝手の良いものにするよう取り組みを進めていきます。
エンタープライズグレードの Postgres
妥協のない信頼性
私たちのネイティブ Postgres サービスは、利用開始初日からエンタープライズグレードの信頼性を提供します。クォーラムベースのレプリケーションを使用し、異なるアベイラビリティゾーン (AZ) にまたがってプライマリと最大 2 つのスタンバイインスタンスを配置できる強力な高可用性 (HA) を提供します。これらのスタンバイインスタンスは HA と自動フェイルオーバー専用であり、リードレプリカとしては公開されません。リードレプリカとして公開すると HA の保証に影響を与える可能性があるためです。読み取りのスケーリングは、個別のリードレプリカを介して処理されます (詳細はこちら)。
ディザスタリカバリ向けには、すべてのサービスにフォークとポイントインタイムリカバリ (PITR) をサポートする自動バックアップが付属しています。バックアップは、フルバックアップおよび S3 などのオブジェクトストレージへの継続的な WAL アーカイビングを処理する、著名なオープンソース Postgres ツールである WAL-G 上で実行されます。WAL-G は、Ubicloud の共同創業者である Daniel Farina 氏が Citus Data 在籍時に最初に作成したものであり、提携チームの質の高さを裏付けるもうひとつの証拠です。
ClickHouse Cloud の信頼性に基づく基盤
ClickHouse Cloud と同一の高いセキュリティ、プライバシー、コンプライアンスの基準を満たすよう構築されています。独自パートナーシップの一環として、Ubicloud は ClickHouse Cloud が所有する AWS アカウント内で完全に実行され、プラットフォーム全体に適用される同一のセキュリティ、プライバシー、ガバナンス管理の対象となります。すでに SAML/SSO、IP 許可リスト、保管時および転送時のデータ暗号化、PrivateLink (サポートチケット経由で利用可能) などのコア機能を備えており、今後も ClickHouse Cloud が提供する高度な機能との連携と統合を進めていく予定です。
オープンソースファースト
マネージド Postgres サービスは、オープンソースファーストの哲学に基づいて構築されています。Postgres と ClickHouse はどちらも、大規模で活発なコミュニティを持つオープンソースデータベースです。統合クエリレイヤーを可能にする pg_clickhouse エクステンションから、リアルタイム CDC とレプリケーションを支える PeerDB まで、Postgres と ClickHouse を統合するすべてのコンポーネントはオープンソースです。
マネージド Postgres サービスにおける戦略的パートナーである Ubicloud もオープンソース企業であり、この哲学に深く共鳴しています。これは適切なパートナーを選ぶ上での大きな要因でした。私たちはコミュニティに世界水準の Postgres を届けるために共同でオープンソースエコシステムに貢献しており、このコラボレーションはすでに始まっています。Ubicloud のオープンソースリポジトリに対する ClickHouse チームからの主要なコントリビューションの一部はこちらで確認できます。
このオープンソースの基盤によりベンダーロックインが排除され、開発者は自社のデータスタックに対して完全な制御、透明性、長期的な柔軟性を確保できます。
ClickHouse Managed Postgres を試す
私たちのチームから1日以内にご連絡し、早期アクセスの提供に向けて緊密に連携いたします。プライベートプレビューは完全無料で、費用は一切かかりません。
現在は AWS の 10 のパブリックリージョンで利用可能であり、2 vCPU / 8 GB RAM / 118 GB ディスクから 96 vCPU / 768 GB RAM / 60 TB ストレージまで、50 以上の NVMe 構成を用意しています。近い将来、さらなるリージョンへの展開や、GCP や Azure を含む他のクラウドサービスプロバイダーへの対応を予定しています。このサービスには、高可用性、フォーク、リードレプリカ、PgBouncer、アップグレードなど、標準的なマネージドサービスのすべての機能が含まれており、ClickHouse との緊密な統合も備わっています。
