ClickHouse Managed Postgres の新機能: ユーザー通知、オブザーバビリティの強化、バックアップの高速化、拡張機能など

ClickHouse Managed Postgres がベータになってから、2か月ほどが経ちました。その間、チームは Postgres と ClickHouse を基盤とする OLTP と OLAP の統合データスタックというビジョンに向けて、速いペースで機能を出し続けています。

1か月ほど前には、ベータ以降に導入した主要なプラットフォーム機能(RBAC、Terraform、ClickPipes、拡張機能サポートなど)をまとめたブログを公開しました。本記事はその続報として、オンボーディングの簡素化、ユーザー通知、オブザーバビリティの充実、バックアップの高速化、拡張機能サポートの拡充など、最新の製品改善を紹介します。

オンボーディング体験の改善 #

ClickHouse Managed Postgres をこれまで以上に簡単に使い始め、Postgres と ClickHouse の統合データスタックの価値をすぐに実感できるように、オンボーディング体験を再設計しました。

• データの読み込みまたは移行: サンプルデータセットで始めるか、移行と CDC のフルマネージドサービスである ClickPipes で既存の PostgreSQL データベースを移行します。
• データのクエリ: 組み込みの SQL コンソールから、PostgreSQL データベースをすぐに探索し操作できます。
• ClickHouse への同期: 数クリックで業務データを ClickHouse にレプリケーションし、リアルタイム分析に活用します。
• 統合クエリの有効化: pg_clickhouse を設定し、単一の PostgreSQL インターフェースから Postgres と ClickHouse のデータを横断してクエリと結合ができます。

ユーザー通知 #

Managed Postgres サービスに、ユーザー通知が組み込まれました。本日から、Postgres サービスのディスク使用量が容量の 85% を超えた状態が続くと、コンソールとメールで自動的に通知します。Slack 通知も任意で追加できます。設定ページでは、Postgres サービスごとに通知チャネルを設定できます。

メール通知の例です。

ストレージは自動的に拡張されるため、この通知はデータが増えたことを知らせるものです。増加が想定どおりかを判断し、自動スケーリングに伴う短時間の切り替えとコストに先回りして備えられます。詳細はドキュメントを参照してください: https://clickhouse.com/docs/products/managed-postgres/monitoring/notifications

これは始まりにすぎません。同じメトリクス基盤の上に、レプリカ遅延秒数と稼働時間の通知が次に加わります。あわせて、フェイルオーバーが発生した瞬間にイベントとして送出されるフェイルオーバー通知も提供を始めます。

包括的なオブザーバビリティ: ログ、メトリクス、Prometheus エンドポイントなど #

ClickHouse Cloud コンソールに直接組み込んだ包括的なオブザーバビリティと、既存の監視ツールとの連携により、ClickHouse Managed Postgres サービスの稼働状況をこれまで以上に正確に把握できるようになりました。

ログ #

新しいログビューでは、PostgreSQL サーバーのログをコンソール上で直接確認できます。全文検索と、重大度や時間範囲のフィルタを使って、必要な情報を数秒で見つけられます。

メトリクス #

刷新したメトリクス画面で、CPU、メモリ、ディスク、IOPS、接続数といったサービスの健全性を一目で確認できます。テーブルごとの内訳から、どのテーブルがストレージを消費しているかも分かります。Query insights では、クエリごとのレイテンシとスループット、最も遅いクエリをリアルタイムに確認できます。

Prometheus エンドポイント #

私たちの OpenAPI には Prometheus 互換の /metrics エンドポイントがあり、システムとデータベースのシグナルを標準の Prometheus exposition 形式で公開します。既存の Prometheus サーバー(または OpenMetrics 互換のスクレイパー)をこのエンドポイントに向けるだけで、通常のスクレイプ間隔でメトリクスを取得できます。取得したメトリクスは既存のダッシュボードやアラートルールに流れるため、Managed Postgres の健全性を別のコンソールではなく、他のコンポーネントと並べて監視できます。詳しくは Prometheus 監視のドキュメントを参照してください。

オブザーバビリティ向けの OpenAPI #

ClickHouse Cloud Postgres Slow Query API は、オブザーバビリティデータをプログラムから取得するための OpenAPI/REST インターフェースです。中心となるのはスロークエリパターンです。性能の悪いクエリダイジェストを、呼び出し回数、平均と合計の実行時間、処理行数とともに返すので、実際に負荷を生んでいるクエリを特定できます。API は OpenAPI で定義されているので、型付きクライアントを生成し、これらのシグナルをコンソールで目視する代わりに、CI の性能ゲート、リグレッションチェック、独自ダッシュボードへ直接つなげられます。

バックアップの高速化 #

大きなサーバーサイズが持つ多くの CPU と高いディスクスループットを活かせるように、wal-g のバックアップとリストアの設定を更新しました。この変更により、10 TB を超えるサーバーでもバックアップとリストアが予測可能な時間で完了します。 この変更によって CPU 使用率のグラフに日次のスパイクが現れることがありますが、システムリソースでは常に PostgreSQL のワークロードがバックアップより優先されるように設定しています。今後は WAL-G の機能の一部を、WAL-G を Rust で書き直したオープンソースの WAL-RUS に置き換え、バックアップのリソース効率をさらに高める計画です。

拡張機能サポートの拡充 #

Postgres の正規表現を最大 9 倍高速にする新しい re2 拡張機能を追加し、pg_clickhouse と pg_stat_ch の改善も続けています。Postgres と ClickHouse の組み合わせがさらに容易になります。

pg_re2 #

この拡張機能は、ClickHouse の正規表現関数をすべて Postgres 上に再現します。ClickHouse と同じく Google の RE2 正規表現ライブラリを基盤としているため、両プラットフォームで同一の正規表現構文とマッチング結果が得られ、PostgreSQL 標準の正規表現関数より大幅に高速です。詳細は re2 のブログ記事を参照してください。

pg_clickhouse #

pg_clickhouse は、Postgres ユーザーが Postgres から ClickHouse のテーブルを透過的にクエリできる「統合クエリレイヤー」を提供します。最初の機能は「外部データラッパー(foreign data wrapper)」で、ClickHouse のテーブルを Postgres のビューのように表現します。クエリを解析して最適な形で ClickHouse へプッシュダウンするため、ClickHouse の分析クエリ性能をそのまま活かせます。ここ数か月で、pg_re2 と統合してその関数を透過的にプッシュダウンできるようにしました。互換性のあるすべての集約関数のプッシュダウンを実装し、TPC-H などのベンチマークでよく見られるサブクエリ結合のプッシュダウンも改善しました。詳細はこちらの記事** **を参照してください。来週には次のリリースと記事も予定しています。

pg_stat_ch #

この拡張機能は、監視とクエリ性能分析のために、Postgres のクエリパターンを ClickHouse へ送ります。Apache Arrow によるバッチ処理(#77)で、少ないリソースで速くエクスポートできるようになり、サンプリング(#72)にも対応してリソース消費をさらに抑えられます(外れ値を取りこぼす代償はあります)。実行時の安全性を高めるため、ワーカープロセス内の C++ 例外とシグナルを正常終了に変換し(#86, 87, 88, 93, 94)、postmaster に影響が及ばないようにしました。これらの取り組みを支えるため、clickhouse-cpp API から新しい軽量な clickhouse-c 実装へ移行しました(#104)。

今後の展望 #

プラットフォームの次の大きなマイルストーンは、ClickHouse Managed Postgres の Google Cloud Platform への展開です。メンテナンスと OS 更新のマネージド化、設定項目の拡充、性能に関する推奨事項、UX と開発者体験への継続的な投資、既存のオブザーバビリティスタックと連携するための OpenTelemetry サポートの強化も予定しています。

拡張機能とデータ統合の面では、chDB と ClickHouse のテーブル関数を通じて、クラウドオブジェクトストアやファイルシステムとの間でデータを高速に移動できる COPY サポートを開発しています。また、分析をさらに速く確実にするために、ClickHouse へのレプリケーションをよりネイティブな経路にする取り組みも進めています(ご期待ください)。autovacuum、共有メモリ、接続数上限などの設定のインテリジェントなチューニングにも取り組みます。