Google Cloud 上の ClickHouse BYOC が一般提供(GA)開始

AWS 向け BYOC の提供開始以来、完全マネージドな ClickHouse サービスの運用の容易さを享受しつつ、データを自社のサイバーアカウント内に保持したいという多くの組織に導入されてきました。本日の発表により、Google Cloud ユーザーもまったく同じメリットを活用できるようになりました。ウェイティングリストも、プライベートプレビューへのアクセス申請も必要ありません。

BYOC とは？ #

BYOC は、コントロールプレーンとデータプレーンを別々の VPC に分離します。

• ClickHouse 管理のコントロールプレーン: ClickHouse 自身の VPC 内で実行されます。オーケストレーション、スケーリング、アップグレード、モニタリング、請求を担います。クエリデータに触れることは一切ありません。
• 自社のデータプレーン: すべて自社の Google Cloud プロジェクト内で実行されます。GKE クラスター、ClickHouse サーバー、オブジェクトストレージ (Google Cloud Storage)、バックアップ、メトリクスはすべて、アカウント境界内に配置されます。

コントロールプレーンとお使いの環境間の通信には、Tailscale のゼロトラストトンネルを使用します。これはアウトバウンド専用かつ暗号化されており、オーケストレーションのトラフィックのみにスコープが限定されています。サポートアクセス権限を持つ ClickHouse エンジニアのアクセスはシステムテーブルのみに制限され、セッションには制限時間が設けられ、監査ログも記録されます。

その結果、データの所在管理を手放すことなく、完全マネージドサービスを利用できます。

なぜ Google Cloud なのか？ #

Google Cloud には、企業のデータインフラの大部分が集約されています。BigQuery、Dataflow、Pub/Sub パイプラインを運用している組織が、同じ環境内で、同じ IAM プリミティブ、同じ VPC 制御、同じコンプライアンス境界のもとに高性能な OLAP レイヤーを配置したいと考えるのは自然なことです。

Google Cloud 向け BYOC により、ClickHouse をその環境へネイティブに統合できます。サービスは GKE 上で動作し、データとバックアップは手元の GCS バケットに保存され、プライベートネットワーク経由で他の Google Cloud ワークロードに接続されます。データがアカウントやプロジェクトの境界を越えることはありません。

ClickHouse BYOC は、パブリックな ClickHouse Cloud のすべての Google リージョンで既にご利用いただけます。今後、対応する Google Cloud リージョンをさらに拡大していく予定です。

初期セットアップ #

オンボーディングは、Terraform を使用した 3 つのステップで進めます。

1. アカウントのセットアップ: BYOC コントローラーが自社の Google Cloud プロジェクト内のインフラを管理するのに必要な IAM ロールと信頼関係の権限を作成する Terraform モジュールを実行します。最小権限の原則に従っており、コントローラーにはクラスターのプロビジョニングとメンテナンスに必要な権限のみが付与されます。

2. インフラのプロビジョニング: ClickHouse BYOC コンソールで、Google Cloud リージョンを選択し、VPC CIDR 範囲を設定して、アベイラビリティゾーンを調整します。BYOC 用に専用の Google Cloud プロジェクトを用意することをおすすめします。これにより、明確なコストの帰属管理とリソースの分離境界を確保できます。

3. サービスの作成: サービス名を指定し、BYOC 環境とリージョンを選択し、CPU/メモリの割り当てを決定し、高可用性を確保するためのレプリカ数を設定します。GKE クラスター、ClickHouse ノード、モニタリングスタックが自動的にプロビジョニングされます。

独自のネットワーク要件がある場合や、既存の VPC と統合したい場合は、ClickHouse サポートまでお問い合わせください。こうした構成向けのカスタマイズされたオンボーディングもサポートしています。

含まれる機能 #

Google Cloud 向け BYOC には、本番環境で ClickHouse ワークロードを運用するために必要なすべての機能が備わっています。

• 効率的な分散ストレージを実現する SharedMergeTree
• マネージドバックアップと復元: プロジェクト外に出ることなく、手元の GCS バケットに保存
• 垂直および水平スケーリング: ワークロードに合わせてレプリカ数とノードサイズを調整
• 自動アイドリング / ウェイクアップ: アイドル時間帯にサービスを自動停止してコストを削減
• Warehouses によるコンピュートとコンピュートの分離: 専用のコンピュートグループ間で異なるクエリワークロードを分離
• Prometheus / Grafana / AlertManager モニタリングスタック
• オブザーバビリティパイプラインを一元化しているチーム向けの Datadog 連携
• エンタープライズネットワーク構成向けの VPC Peering および Private Service Connect

アップグレードとメンテナンス #

ClickHouse は、ArgoCD を介してバックグラウンドで ClickHouse データベースのアップグレードとサポートインフラ(Kubernetes オペレーター、Istio、モニタリングコンポーネント)のアップグレードの両方を処理します。データベースのアップグレードは make-before-break 戦略 に従います。古いレプリカを削除する前に更新されたレプリカが追加されるため、ダウンタイムや中断を最小限に抑えられます。Fast、Regular、Slow のリリースチャネルを選択でき、設定したメンテナンスウィンドウに合わせてアップグレードが実施されます。