ClickHouse Observability の発表 - ClickHouse Cloud 上のフルマネージドなオブザーバビリティ

ClickHouse Observability のパブリックベータ版を発表します。これは SRE とそのエージェントのためのフルマネージド型オブザーバビリティソリューションであり、ClickHouse Cloud とオープンソースの ClickStack を基盤としています。

OpenTelemetry データをマネージド OTLP エンドポイントに送信するだけで、あとはすべてお任せください。コンピュートのサイジング、データベースやスキーマのチューニング、取り込み管理を行うことなく、ClickHouse のクエリパフォーマンスを活用できます。

ClickHouse の高効率性により、フルマネージドサービスでありながら市場をリードする価格設定を実現し、シンプルな料金体系を維持しています。ログとトレースは取り込みギガバイト単位(0.20 ドル/GB)、メトリクスは取り込みデータポイント単位(0.10 ドル/100万ポイント)の課金のみです。

わずか数分でオブザーバビリティに ClickHouse のメリットを取り入れ、調査可能な完全な忠実度のログ、メトリクス、トレースをすぐに利用できます。ClickStack UI を通じてテレメトリを探索したり、専用の MCP ツールや SQL を介して独自のエージェントを接続したりできます。プラットフォームの運用は ClickHouse に任せ、本番環境の把握と障害の解決に集中できます。

また、ClickHouse Observability Apps のプライベートプレビューも発表します。ClickHouse Observability によって ClickHouse のメリットをより手軽に享受できるようになる一方で、Apps はさらに大きな問いに向き合っています。エージェントが調査を行い、ソフトウェアがタスクに適応できるなら、なぜオブザーバビリティのインターフェースは固定されたままである必要があるのでしょうか。

Observability Apps では、必要な要件を記述するだけで、自社、ユースケース、チーム、役割、さらには個別の調査に合わせて、インタラクティブでカスタムなオブザーバビリティ UI を構築できます。エージェントは専用の調査ツールや SQL を活用し、そうした問いを、探索・改善・共有が可能なエクスペリエンスへと変換します。

ClickHouse Observability を開発した理由 #

オブザーバビリティにおける ClickHouse のメリットは広く確立されています。Netflix、Anthropic、Twilio、OpenAI などの大手企業が、膨大なスケールのテレメトリを保存およびクエリするために ClickHouse を利用しています。

これは、高い圧縮率、高速なクエリ、効率的なストレージのおかげであり、サンプリングを行わずに完全な忠実度のテレメトリを長期間保持することを現実的なものにしています。表現力豊かな SQL と組み合わせることで、エンジニアやエージェントが問題の調査や診断に必要なリッチなコンテキストを提供します。

ClickHouse の効率性は、チームがコストを抑えつつ保持・調査できるデータの範囲を一変させました。私たちは過去 1 年間、オープンソースや Managed ClickStack を通じてその恩恵を受けるためのハードルを着実に下げてきましたが、データベースの専門知識や、取り込みパイプラインおよびインフラの管理は依然として課題の一部でした。

その管理性は、投資に見合う専門知識とスケールを持つチームにとっては依然として価値があります。しかし、多くのチームはオブザーバビリティ用データベースの管理まで行うことなく、アプリケーションの調査に集中したいと考えています。また、エージェントが実行する調査が増えるにつれ、エージェントに対応するために容量の決定をチームが見直し続けなければならない状況は避けるべきです。

ClickHouse Observability では、これらの要件を不要にします。

「ClickHouse は Buildkite の Test Engine を支えており、わずか 10 秒の取り込みレイテンシで月間 1 兆件以上のテスト実行を取り込んでいます。この成功を踏まえ、ClickHouse Observability を活用して自社の CI をより深く把握できることを楽しみにしています。プライベートプレビューでは、Buildkite の OpenTelemetry 連携を ClickStackUI の OTLP エンドポイントへ簡単に接続できました。ClickStack エージェントによってわずか数分でダッシュボードが作成され、個々のジョブへのドリルダウンや、パイプライン全体のパフォーマンス推移の追跡、ステップやエージェントタグなどによる自由な分析(スライス&ダイス)が可能になりました。Buildkite の顧客の皆様にも、ぜひご自身のパイプラインでこれを試していただきたいと考えています」

Chris Atkins 氏(BuildKite、Distinguished Engineer)

ClickHouse Observability は、そうした運用の手間を引き受けます。どのテレメトリを送信し、どのような問いを投げかけるかを決めるのはユーザーです。データベースと背後にあるインフラストラクチャは私たちが管理します。あとはデータを送信し、調査を始めるだけです。

テレメトリを送信し、調査を開始する #

利用を開始するには、ClickHouse Observability サービスを作成し、マネージド OTLP エンドポイントと認証情報を取得します。既存の計装や収集パイプラインはそのままに、OpenTelemetry コレクターの送信先をそのエンドポイントに向けるだけです。

そこから先は、取り込み、スキーマ、ストレージの管理を私たちが担います。取り込みとクエリでコンピュートを分離しているため、基盤となるサービスのサイジングやチューニングを利用者に求めることなく、需要の増加に応じて調査キャパシティを自動調整できます。

テレメトリが届き次第、すぐに調査を始められます。ClickStack UI 上でログの検索、メトリクスの探索、トレースの追跡が可能です。役立つクエリはダッシュボードやアラートにしておけば、チームでいつでも確認できます。

同梱の ClickStack MCP サーバーを介して、エージェントも同じテレメトリを利用できます。専用のツールにより、ログの検索、トレースの追跡、イベントのパターンや差分の分析を行わせることができます。SQL を使えばさらに一歩進め、シグナル同士の結合、過去の挙動との比較、事前定義されたツールでは対応できない問いの検証まで行えます。

「少人数のチームでありながら多くの機能をリリースし、同時に高品質なサービスを維持するうえで、これはまさにミッションクリティカルです。市販のエージェントと ClickHouse Observability へのアクセスだけで実現できる、この常時稼働の AI 支援によるトリアージがなければ、とても不可能なことでした。」

Matt Matheson 氏(Trunk.io 共同創業者兼 CTO)

シンプルな従量課金制の料金体系 #

これまで ClickHouse Cloud でオブザーバビリティを運用する場合、コンピュートとストレージに対して料金を支払っていました。それによりチーム側でリソースを制御できる反面、請求額を見積もるにはワークロードが必要とするリソースを正確に把握しておく必要がありました。その理解がないと、安全策としてオーバープロビジョニングしがちになり、使わないキャパシティにコストを払うことになります。

また、私たちは料金体系をできるだけ少ない課金軸で、分かりやすいものにすべきだと考えています。そこで、親しみやすい 2 つの指標を採用しました。送信されたログとトレースのデータ量、そしてメトリクスのデータポイント数です。メトリクスの一意なタイムシリーズ数ではなくデータポイント数に応じて課金するため、有用なディメンションを追加してもカーディナリティの追加料金は発生しません。ClickHouse はカーディナリティに悩まされることがないため、ユーザーも悩む必要はありません。

パブリックベータ期間中は、いずれも 50% 割引でご利用いただけます。

ログとトレースは、毎月取り込まれた非圧縮データ量に基づいて請求されます。メトリクスは、毎月取り込まれたデータポイント数に基づいて請求されます。どちらもパブリックベータ期間中は 30 日間のデータ保持期間が含まれており、一般提供 (GA) に向けてより長い保持期間も計画されています。

ClickHouse Observability Apps #

ClickHouse の機能をマネージドな体験を通じて利用できるようにすることで、データベース運用の負担なしに、より多くのチームが劣化のない完全なテレメトリを扱えるようになります。

次のステップは、調査の進め方をチーム自身が自由に形作れるようにすることです。ログの検索やトレースの追跡といった中核的なワークフローは依然として重要です。しかし、どのようなビジネスにも固有のシステム、責務、疑問があり、ベンダーが用意した画面だけでは完全には対応しきれません。自社のオブザーバビリティ体験が、誰か別のロードマップの順番待ちをする必要はないはずです。

現在プライベートプレビュー中の ClickHouse Observability Apps を使えば、欲しい体験を言葉で伝えるだけで、アプリケーションコードを書くことなく、稼働中のデータをもとにカスタムアプリケーションを構築できます。エージェントがクエリ、カスタムの可視化、連携された画面を生成します。それらを対話を通じて調整し、チームに共有できます。SQL によって個々の顧客、テナント、トランザクションを自由に探索でき、実行されるクエリの内容も確認可能です。

決済チームであれば、各決済プロセッサーの平常時のパフォーマンスと成功率を比較し、異常を追跡して影響を受けた注文を特定し、リトライ後にどれが成功したかを確認できます。注文から基盤となるトレースを開き、調査を通じてコンテキストを引き継ぐことも可能です。サポートチームであれば、顧客の未完了の購入を中心に整理された、別の出発点が必要になる場合もあります。

アプリケーションは、1回の調査のために作成するだけでも十分に価値があり、そこからチームが日々使用するものへと発展させることもできます。使い慣れた調査ツールをワークフローの一部として残しながら、各ユーザーやチームが自分たちの問いに合わせたエクスペリエンスを自由に構築できます。

私たちは、セキュリティ、ライブデータ、そしてClickStackと統合されたインタラクティブなエクスペリエンスという3つの原則に基づいてObservability Appsを設計しました。生成されたコードはサンドボックス内で実行され、クエリは読み取り専用で、閲覧ユーザーのデータベース権限を使用します。アプリは調査ツールやMCPサーバーの背後にあるAPIレイヤーを再利用し、それらの標準的な操作を超えた分析にはSQLを利用できます。

特定のインシデント向けにアプリケーションを構築し、チームと共有して、データの変化に合わせて再利用できます。ClickStackのタイムピッカーやトレース/ログビューアにより、カスタム画面と使い慣れた調査ツールが結びつき、コンテキストを維持したまま問いから基盤となる証拠へと掘り下げられます。

ベンダーがすべての画面を設計するのを待つことなく、チームは問いの進化に合わせて独自のエクスペリエンスを形作ることができます。コアとなる調査ツールは、各チームのニーズに合わせて構築されたアプリケーション内の再利用可能なコンポーネントになります。専用のブログ記事では、これがオブザーバビリティにとって何を意味するのか、そして生成されたエクスペリエンスの一貫性と正確性を確保するためにまだ必要な取り組みについて掘り下げています。

今後の展開に向けたフィードバックのお願い #

ベータ期間中、私たちは自動スケーリングとスキーマ最適化の改善に注力しています。On-Demand Computeなどの機能を基盤として、エンジニアやエージェントからの突発的な調査に対してクエリキャパシティがより柔軟に応答できるように開発を進めています。また、サービスがテレメトリやクエリパターンに合わせてスキーマを適応させる方法も改善しており、チームの手からさらなるチューニングの判断を省けるようにしています。

お使いのテレメトリと実際の調査ワークフローをぜひお持ち込みください。皆様からのフィードバックは、一般提供(GA)に向けて何を改善すべきかを決定する上で役立ちます。

Managed ClickStack とオープンソースの ClickStack はどうなりますか？ #

Managed ClickStack は、ClickHouse Observability 内のセルフ構成オプションになります。ClickStack の UI や調査ツールはそのまま維持され、データベース、スキーマ、チューニング、コンピュート構成の制御権も保持されます。基盤となるインフラストラクチャは引き続き ClickHouse Cloud が管理します。

セルフ構成の ClickHouse Observability は、データベースの専門知識を持ち、最小の単価を追求するためにエンジニアリング投資を正当化できる規模のチームにとって、引き続き最適な選択肢です。大半のチームにとっては、デフォルトのエクスペリエンスが出発点となるはずです。テレメトリを送信して調査を行い、データベースの運用は私たちにお任せください。

ClickStack は引き続きオープンソースであり、私たちはその継続的な開発に全力で取り組んでいます。オープンソースとしてのルーツへの投資を続け、ClickHouse 上でオブザーバビリティを自ら運用したいチーム向けに、優れた標準エクスペリエンスを提供し続けます。自社のインフラストラクチャにスタックをデプロイし、ニーズに合わせて調整し、MCP や SQL を通じてエージェントを接続できます。ClickStack は今後も ClickHouse Observability の基盤を提供し続けます。

ClickHouse Observability を今すぐ始める #

ユーザーは本日、数分で開始できます。ClickHouse Observability サービスを作成し、マネージドエンドポイントにテレメトリを送信して、調査を開始してください。ClickStack UI でデータを探索することも、MCP や SQL 経由でエージェントを接続することもできます。プラットフォームは私たちにお任せいただき、本番環境の把握に集中してください。