Google Cloud 上の ClickHouse Managed Postgres を発表

TL;DR: ClickHouse Managed Postgres が Google Cloud でプライベートプレビューとして利用できるようになりました。今年 AWS で提供を開始したフルマネージドの NVMe ベース Postgres サービスと同じもので、ClickHouse へのネイティブ CDC と pg_clickhouse による統合クエリレイヤーを備えたまま、GCP 内で動作します。プレビュー期間中は利用枠が限られているため、GCP のウェイトリストに登録していただければ、私たちのチームからご連絡してオンボーディングを進めます。

4 月に ClickHouse Managed Postgres を提供開始した際、AWS 以外のクラウドプロバイダーへ、まず GCP から拡大していくとお伝えしました。その後サービスはパブリックベータに移行し、現在は数百のユーザーが数テラバイト規模の本番ワークロードを動かしています。

その過程で、「これは Google Cloud でいつ動かせるようになりますか」という質問が、最も多く寄せられる要望のひとつになりました。私たちに相談いただくチームの多くは、すでに GCP で ClickHouse Cloud を運用しているか、トランザクションデータを Cloud SQL や AlloyDB に置いています。こうしたチームは、GCP から出ることなく、トランザクションは Postgres、分析は ClickHouse という同じ統合データスタックを使いたいと考えています。

本日、Google Cloud 上の ClickHouse Managed Postgres のプライベートプレビューを開始します。

まずは、GCP で動く ClickHouse Managed Postgres の短いデモをご覧ください:

Google Cloud を利用するチームにとっての意義 #

私たちが目指してきたアーキテクチャは単純です: OLTP は Postgres、OLAP は ClickHouse が担い、両者の間で継続的にレプリケーションを行い、その上に単一のクエリレイヤーを置きます。このパターンはすでに数百社で採用されており、AI ネイティブなアプリケーションが行き着く構成でもあります。エージェント駆動のワークロードでは、スタックのトランザクション側と分析側の双方から答えを得る必要があるためです。

これまで GCP を使うチームが、このうちネイティブに利用できたのは半分だけでした。ClickHouse Cloud は数年前から Google Cloud で稼働しており、今年に入って ClickPipes を GCP にネイティブ対応させ、リージョン内での取り込みと Private Service Connect のサポートを提供しました。一方で Postgres 側は、AWS またはサードパーティのプロバイダーに置く必要がありました。その結果、クラウドをまたぐレプリケーション、エグレスコスト、ネットワークとコンプライアンスを 2 系統管理する手間が発生していました。

GCP 上の ClickHouse Managed Postgres を使えば、スタック全体が Google Cloud 内に収まります:

• ローカル NVMe 上の Postgres が、アプリケーションと ClickHouse Cloud サービスと同じ GCP リージョンで動作します
• ClickHouse へのネイティブ CDC を GCP ネイティブのネットワーク経由で実行し、クラウドをまたぐ経路は発生しません
• pg_clickhouse により、アプリケーションは単一の Postgres 接続で両方のエンジンにクエリを実行できます

プライベートプレビューで利用できるもの #

GCP のサービスは AWS のサービスと同じアーキテクチャで動きます。Google Cloud ではどのような構成になるのかを説明します。

GCP Local SSD 上の NVMe ベース Postgres #

性能面の考え方は、このサービスの提供を開始したときから変わりません。マネージド Postgres の多くはネットワーク接続型のストレージで動作するため、ディスクアクセスごとにネットワークの往復が加わります。ClickHouse Managed Postgres は GCP Local SSD 上で動作します。これは、データベースを実行する VM に物理的に接続された NVMe ストレージです。ディスクのレイテンシーはミリ秒からマイクロ秒へと下がり、IOPS が性能の上限になることもなくなります。ネットワークストレージで最も不利になるワークロード(大量の更新、vacuum、WAL のスパイク、負荷時のテールレイテンシー)が、最も大きな恩恵を受けます。

GCP 上の ClickHouse Cloud とのネイティブ統合 #

すべてのサービスには、2 種類の連携機能が付属します。これらによって、データベースを 2 つ並べただけの構成ではなく、ひとつの統合データスタックになります:

• Postgres から ClickHouse へのレプリケーション: ClickPipes の Postgres CDC コネクターを使えば、数クリックで Postgres のテーブルを ClickHouse Cloud に同期できます。初期ロードと継続的な CDC に対応し、レプリケーションのレイテンシーは秒単位です。ClickPipes が GCP でネイティブに動作するようになったため、レプリケーションはリージョン内で完結します。
• pg_clickhouse: Postgres を統合クエリレイヤーとして機能させるオープンソースの Postgres 拡張です。フィルター、JOIN、集約などを ClickHouse 側にプッシュダウンします。コード内で 2 つの接続を管理することなく、トランザクションと分析にまたがるアプリケーションを構築できます。

最初のサービスから本番運用に使える #

プライベートプレビューには、本番ワークロードに求められるマネージドサービスの機能が含まれます:

• 高可用性: クォーラムベースのレプリケーションを用い、ゾーンをまたいで 2 台のスタンバイを配置
• 自動バックアップ: ポイントインタイムリカバリとフォークに対応
• リードレプリカ: 読み取り負荷の高いワークロード向け
• コネクションプーリング: PgBouncer を利用
• 90 以上の Postgres 拡張
• 統合された監視、ログ、Query Insights
• ClickHouse Agents: Postgres のデータを自然言語で探索・チューニング
• スケジュールアップグレード: プラットフォームのアップグレードと Postgres のパッチ適用に対応

コードによるインフラ管理 #

自動化の手段はいずれも、GCP を第一級のプロバイダーとして扱います。OpenAPI の作成エンドポイントはプロバイダーとして gcp を受け付け、Terraform プロバイダーでは cloud_provider に指定できます:

1resource "clickhouse_postgres_service" "example" {
2  name           = "my-postgres-gcp"
3  cloud_provider = "gcp"
4  region         = "us-central1"
5  size           = "<size>"
6  ha_type        = "async"
7}

clickhousectl CLI からプロビジョニングすることもできます:

1clickhousectl cloud postgres create \
2  --name my-pg \
3  --provider gcp \
4  --region us-central1 \
5  --size c4-standard-4 \
6  --pg-version 18

Cloud SQL や AlloyDB、その他の環境からの移行 #

ベータ版のユーザーのうち何社かは、Cloud SQL から移ってきました。Postgres がすでに GCP にあるなら、Postgres to Postgres ClickPipes を使って、フルマネージドでダウンタイムの少ない移行ができます。既存データベースからの継続的なレプリケーションとスキーマ移行の自動化に対応し、カットオーバーのタイミングは自分で決められます。この流れは、Cloud SQL、AlloyDB、RDS、Aurora、Neon、セルフマネージドの Postgres のいずれから移る場合でも変わりません。

担当チームがプライベートプレビューのユーザーと直接協力して進めるため、移行の計画を自社だけで立てる必要はありません。

プライベートプレビューの進め方 #

GCP のプレビューは意図的に小規模にとどめています。各チームと密に協力し、必要とされているものを把握したうえで、より広く提供したいと考えているためです。以下の点を押さえておいてください:

• 利用はウェイトリストからの招待制です。 サインアップしていただくと、担当チームからご連絡し、ワークロードについて相談したうえで利用できるようにします。
• ClickHouse Cloud が稼働するすべての GCP リージョンで利用できます。 サポート対象のリージョンであれば Postgres をどこにでもデプロイできるため、既存の ClickHouse Cloud サービスのすぐ隣に配置できます。
• コンピューティングとストレージの構成を幅広く選べます。 Local SSD ベースのマシンタイプは、小規模な開発用インスタンスからストレージ重視の本番クラスターまで揃っており、固定されたティアに合わせるのではなく、ワークロードに合わせてサイズを選べます。
• AWS と同じ機能を揃えることを目標にしています。 GCP のサービスは AWS と同じスタックで動作します。GCP でまだ利用できない機能については、事前にお知らせし、提供時期を共有します。

この期間にいただくフィードバックは、ロードマップに直接反映されます。AWS のプライベートプレビューでも、いただいたフィードバックがベータで提供した機能を形づくりました。

使ってみる #

Google Cloud 上の ClickHouse Managed Postgres は、本日からプライベートプレビューです。

AWS を使っている場合は、待つ必要はありません。ClickHouse Managed Postgres は本日時点で AWS でパブリックベータとして提供されています。ClickHouse Cloud にサインアップして、最初の NVMe ベース Postgres サービスをプロビジョニングしてください。

詳しくは ClickHouse Managed Postgres のページをご覧いただくか、ドキュメントをご確認ください。