ClickStack Cloud のご紹介:ClickHouse を基盤としたサーバーレスオブザーバビリティ

本日、ClickHouseを基盤に構築されたターンキー型のオブザーバビリティサービス、ClickStack Cloudのプライベートプレビューを発表します。

ClickStack Cloudは、独自のオブザーバビリティ基盤を運用することなく、ClickHouseが持つパフォーマンス、スケーラビリティ、コスト効率をオブザーバビリティに活かしたいチーム向けに設計されています。

マネージドOTLPエンドポイントにOpenTelemetryデータを送信すれば、ClickStack UIでログ、メトリクス、トレースを探索できます。コレクターの管理、インフラのサイジング、スケーリング判断、スキーマ設計、あるいはClickHouseの専門知識の習得といった作業を行う前から、チームはテレメトリの調査をすぐに始められます。

ClickHouseをオブザーバビリティに使うなら、ClickStack Cloudをデフォルトの選択肢としてご利用ください。テレメトリデータを送って調査を始めれば、運用面の複雑さはプラットフォームが裏側で引き受けます。

なぜ ClickStack Cloud なのか #

オブザーバビリティデータは、ClickHouse にとってまさに最適な領域です。

ログ、メトリクス、トレースは、大量・高カーディナリティで、時系列データの比重が大きいデータセットです。チームは生イベントを横断的に検索し、素早く集計を行い、より多くのデータをより長く保持し、インシデントをシステム全体やビジネス上の出来事と関連付ける必要があります。

ClickHouse は、大量のテレメトリデータに対して従来手法のごく一部のコストで高速なクエリを実行できることから、すでに多くの最新オブザーバビリティアーキテクチャの基盤として採用されています。ClickStack は、OpenTelemetry ネイティブな取り込みと専用設計の UI によって、その性能を完全なオブザーバビリティ体験へと昇華させました。

ClickStack Cloud は、その ClickStack を ClickHouse Cloud をバックエンドにフルマネージドで利用できるようにするものであり、取り込み・ストレージ・クエリの基盤を自分たちで運用する必要はありません。

OpenTelemetry データを送るだけで、すぐに観測を開始 #

ClickStack Cloud では、OpenTelemetry データをマネージドエンドポイントへ送信します。あとは ClickStack Cloud が、取り込み、バッファリング、スケーリング、ストレージ、クエリ処理までを裏側ですべて処理します。

実際のセットアップは、新しい ClickStack Cloud サービスを起動したら、OpenTelemetry Collector を ClickStack Cloud の取り込みエンドポイントに向けるだけ、というシンプルさです:

1exporters:
2  otlphttp:
3    endpoint: https://your_service.otel.us-east-2.aws.clickhouse.cloud:4318
4    headers:
5      authorization: Bearer ${CLICKSTACK_CLOUD_TOKEN}

データが流れ始めれば、ユーザーは ClickStack UI からログ・メトリクス・トレースをまとめて探索できます。認証と RBAC も統合されています。

チームは、テレメトリを保存・クエリするためのシステムを運用することではなく、本番システムを理解し運用することに専念できます。

OpenTelemetry のためのフルマネージドな取り込み層 #

目指すのはシンプルなユーザー体験です。難しいのは、それを裏側でシームレスにスケールさせることです。

オブザーバビリティのトラフィックは本質的にバースト性があります。インシデント、デプロイ、cron ジョブ、ユーザー行動、新しい計装などによって、テレメトリの量は急激に変動します。マネージドなオブザーバビリティサービスは、ユーザーがインフラのサイズ変更や取り込みボトルネックのデバッグをしなくて済むように、これらの変動を吸収する必要があります。

そこで活躍するのが、ClickStack Cloud のマネージド取り込み層です。ユーザーはテレメトリをマネージドエンドポイントへ送るだけで、ClickStack Cloud がサービスの裏側で取り込みパスを処理します。バッファリング、スケーリング、ストレージ、ClickHouse への配信まで含めてです。

内部では、テレメトリはオブジェクトストレージに支えられた永続的なイベントキューを通じてバッファリングされます。そしてスケーラブルな取り込み層が、流入するトラフィックパターンと取り込み負荷に応じてリソースを割り当てます。

ユーザーから見れば、体験はシンプルなままです。OpenTelemetry データを ClickStack Cloud に送信すれば、取り込みからクエリ可能なテレメトリに至るまでをプラットフォームが管理してくれます。

プライベートプレビュー期間中に取り組むこと #

ClickStack Cloud は、マネージドな取り込み、サーバーレスのクエリ体験、そしてログ・メトリクス・トレース向けの ClickStack UI を備えてプライベートプレビューを開始します。

プライベートプレビュー期間中、私たちは大量のオブザーバビリティワークロードにとって重要な 2 つの領域に注力しています。それは、取り込みリソースとクエリリソースの分離、そして、チームの実際の利用状況に基づいて、基盤となるデータストアである ClickHouse を自動チューニングすることです。

オブザーバビリティシステムには、まったく性質の異なる 2 つの役割があります。大量のテレメトリデータを継続的に取り込みつつ、ダッシュボード、調査、アドホック分析のために高速でインタラクティブなクエリを提供する必要があります。これらのワークロードは同じようにはスケールしません。

ClickStack Cloud は、コンピュートとストレージを分離する ClickHouse Cloud のアーキテクチャをベースとしており、書き込みインフラとクエリインフラを独立してスケールさせることができます。プライベートプレビュー期間中は、取り込み負荷、クエリの同時実行数、データ密度など、各ユーザーのワークロード特性にシステムが動的に応答する仕組みを磨いていきます。

目指すのは、チームがクラスタのサイジング、サービス分割、インフラのチューニングを自分たちで行うことなく、オブザーバビリティワークロードを成長させられるようにすることです。

オブザーバビリティワークロードの自動チューニング #

オブザーバビリティワークロードは、システムやチームの変化に応じて進化するため、重要なデータの形は素早く移り変わります。先月はほとんど使われなかったフィールドが、今月にはすべてのダッシュボードの中心になっているかもしれません。一方で、新しいサービスが追加した属性が、日常的な調査でチームが頼りにする存在になることもあります。

プライベートプレビュー期間中、私たちは、よくあるクエリパターンから学習し、時間の経過とともにテレメトリデータを自動的に最適化するシステムに取り組んでいます。自動チューニングの計画領域には、以下が含まれます:

• 頻繁にクエリされるフィールドのマテリアライズ
• よく使われるフィルタに基づくプライマリキーの調整
• 頻出アクセスパターンに対するマテリアライズドビューの追加
• よく使われるダッシュボードや調査向けのインデックス追加

プライベートプレビュー期間中は、デザインパートナーやアーリーアダプターと連携し、現実のフィードバックと利用状況に基づいてこれらの仕組みを磨いていきます。

意図はシンプルです。スキーマ設計、インデックスチューニング、ClickHouse の内部理解を各チームに求めることなく、ClickHouse レベルのパフォーマンスをオブザーバビリティユーザーに届けることです。

エージェント型オブザーバビリティワークロードに対応する設計 #

デバッグ、信頼性、運用分析に AI エージェントを採用するチームが増えるにつれて、オブザーバビリティシステムは従来のダッシュボードとは大きく異なるワークロードを支える必要が出てきます。

ダッシュボードは通常、既知のクエリセットを予測可能なペースで実行します。エージェントの挙動はそれとは異なります。多くの探索的クエリを発行し、ログ・メトリクス・トレースをまたいで仮説を検証し、生イベントと集計ビューの間を行き来し、問題の原因を見つけるまで検索を続けることもあります。

このようなワークロードは、コスト管理のためにアプリケーションレベルのクエリ上限、事前集計、レートリミット、固定の同時実行制限に依存するオブザーバビリティプラットフォームには、あまり適しません。

こうした探索的ワークロードをサポートするため、私たちはユーザーが自分のテレメトリデータに対して、エージェント型および大量分析ワークロード向けの専用クエリコンピュートをアタッチできるようにする予定です。共有のクエリキャパシティに制約されることなく、チームは必要なコンピュートをプロビジョニングし、テレメトリデータに対して直接、集中的な分析を実行できるようになります。

これにより、チームはより強いコントロールを得られます。必要なときに多くのコンピュートを使え、主要なインタラクティブなオブザーバビリティ体験から強く隔離され、クエリ負荷の高いエージェント型ワークロードと、それを支えるインフラとの関係がより明確になります。

この機能は現在積極的に開発中で、プライベートプレビュー終了後に提供開始される予定です。

ClickStack Cloud が想定するユーザー #

ClickStack Cloud は、オブザーバビリティ基盤を自ら運用することなく、ClickHouse を活用したオブザーバビリティを利用したいチーム向けです。

既存の Managed ClickStack は、スキーマ、取り込みパイプライン、ワークロードの分離、スキーマチューニング、コンピュートサイジングなどを直接コントロール・管理したいチームに引き続き適しています。大規模ユーザーの多くにとって、こうしたコントロールは不可欠であり、それによって市場最高水準のコスト効率を実現できます。

ClickStack Cloud は、よりターンキーなパスを望むチーム向けに設計されています:

• OpenTelemetry データをマネージドなオブザーバビリティサービスに送る
• ClickHouse の基盤を運用することなく、ログ・メトリクス・トレースを調査する
• 取り込み、ストレージ、クエリの各コンポーネントを自分でサイジングしない
• ClickHouse 上で実行している幅広い分析ワークロードの近くにテレメトリデータを置いておく
• ClickHouse の運用者になることなく、ClickHouse をオブザーバビリティバックエンドとして利用する

ログ、メトリクス、トレースに ClickHouse の速度と効率を求めつつ、その下回りのインフラ管理はしたくない、というチームのために、ClickStack Cloud は作られています。

ClickStack Cloud の価格はまだ確定していませんが、私たちの方針は明確です。シンプルで、予測可能で、スケールしてもコスト効率がよいこと。価格はプライベートプレビューの段階で今後数か月のうちに確定させる予定です。

プライベートプレビューに参加する #

ClickStack Cloud は本日よりプライベートプレビューでご利用いただけます。

プライベートプレビューの枠には限りがあります。ClickStack Cloud の利用にご興味のある方は、プレビュープログラム にお申し込みのうえ、皆さんのオブザーバビリティワークロードについて教えてください。

OpenTelemetry データを送信し、ClickStack でログ・メトリクス・トレースを探索し、マネージドな ClickStack Cloud 体験に対してフィードバックをいただけるチームを募集しています。