AnthropicがClickHouseを使ってAI時代のオブザーバビリティをスケールさせる方法

Anthropic は、ここ数年で「AIの限界に挑みながら、安全かつ責任ある方法で取り組む企業」としての評価を築いてきました。 同社は、最先端の大規模言語モデル「Claude」シリーズを開発する企業として、その姿勢をインフラレベルにも深く根付かせており、オブザーバビリティは性能と保護の両面で重要な役割を担っています。

「ClickHouseは、Claude 4の開発とリリースを支える上で極めて重要な役割を果たしました。」 — Maruth Goyal氏, Anthropic テクニカルスタッフ

2024年にClaudeの利用が急増したことで、Anthropicのオブザーバビリティチームは、膨大なテレメトリ、メトリクス、ログの嵐を相手にすることになりました。そして新しいモデルがリリースされるたびに、要求される信頼性と厳格さはさらに増していきました。 彼らはリアルタイムで問題を検出し、機密データの漏洩を防ぎながら、安全な計算環境の中ですべてを稼働させ続ける必要があったのです。

AnthropicがClaude 3を2024年3月にリリースしたとき、 「世間の注目を集め始めました」とテクニカルスタッフのMaruth Goyal氏は振り返ります。 しかし、数ヶ月後にClaude 3.5が登場した際には、「まさに大混乱が起こりました」と彼は言います。

利用は急増し、モデルはさらに洗練されていきました。 それに伴い、支えるインフラも急激にスケーリングを求められることになりました。計算環境は爆発的に拡大し、それに比例して監視・トラブルシューティング・チューニングのために処理すべきデータ量も膨れ上がっていきました。 突然、既存のオブザーバビリティシステムではその規模についていけなくなったのです。

「ものすごい量のデータを抱えたらどうなると思いますか？」と氏は問いかけます。 「データベースが炎上し、クエリがタイムアウトし、エンジニアはイライラし、予算が燃えます。」

同時に、AnthropicのセキュリティとAI安全基準はますます厳格になっていきました。 2025年5月にClaude Opus 4がリリースされた際、同社はAIセーフティレベル3（ASL-3）対策を導入しました。これは、AIの誤用リスクを低減するために設けられた社内ガードレール群です。 この対策において特に重要だったのが、データアクセスの厳格な制限だったとMaruth氏は説明します。

「非常に強力なモデルの重みが、悪意のある人物によって極めて有害な目的に使われるリスクを私たちは非常に懸念しています」と彼は語ります。 「それを防ぐために、私たちはクラスターからのすべての外部通信を徹底的に監視しています。Anthropicの安全な計算環境から、データが外に出ることは一切許されません。」

2024年の終わり頃、Maruth氏とAnthropicのチームは、より優れたデータベースソリューションを探し始めた。彼らの要望は非常に野心的だった。

「私たちはリアルタイムで大量のデータを取り込む必要があります。セミ構造化データに対して、高速で対話的かつ多機能な分析ができなければなりません。それをAnthropicの安全な計算環境内にデプロイする必要があり、さらにスケーラブルなコスト構造も求められます。」

それだけでなく、業界標準のオブザーバビリティツールとスムーズに連携し、常に付きっきりで面倒を見なくても済むデータベースであることも必要だった。

「私のチームは1月まで3人しかいなかったんです」とMaruth氏は語る。「だから、無茶はしたくなかったんです。」

Anthropicらしい発想で、彼は正解を求めて地の果てまで探し回る必要はないと分かっていた。

「もし“どれを使えばいいか”を超知能に聞けたら最高ですよね」と彼は冗談めかして言う。「部屋の隅にでも転がっていれば便利なんですけど。」

彼はClaudeにおすすめを聞いてみた。Claudeの答えはClickHouseだった。詳細に調べてみると、Maruth氏は納得した。

「これはスケール可能なリアルタイム取り込みに対応しています。高速な分析、柔軟なデプロイ、そしてコスト効率の高いスケーリングが可能です。」

彼はそれをチームに提案し、全員が賛成した。

「これはいいね。」

あとは、それをエアギャップされた厳密に管理された環境でどう動かすかを考えるだけだった。

ClickHouseは技術的には理想的な選択だったが、標準的なデプロイ方法はAnthropicの要件には完全には合っていなかった。オープンソース版には明確な利点があった。「すぐに使い始められるし、実績もあって、パフォーマンスも優れている」とMaruth氏は言う。しかし同時に、ディスクの管理、レプリカの運用、シャードの再構成など、いわゆる「全部盛り」の運用が求められることも意味していた。「人生は楽しくない、いや、ClickHouseがあるから楽しいんですけどね。でも運用コストは高いんです」と彼は付け加える。

ClickHouse Cloudにも独自の利点があった。「動的なスケーリングが可能で、コスト効率が高く信頼性のあるBLOBストレージがバックにある」とMaruth氏は言う。「でも、それはClickHouse Cloudでしか使えないんです。」これは致命的な問題だった。というのも、Anthropicではすべてを自社の安全な計算環境内で実行する必要があったからだ。

そこで彼らはハイブリッドなアプローチを選んだ。ClickHouseチームと連携しながら、ClickHouse Cloudのアーキテクチャをカスタマイズし、Anthropicのインフラ内部にエアギャップされた形でデプロイした。コントロールプレーンからデータプレーンに至るまですべて、社内で運用されている。

AnthropicにおけるClickHouseの導入構成

クラスターはKubernetes上で稼働しており、ClickHouse Operatorによってオーケストレーションされています。ZooKeeperの代替として3つの「keeper」が用意されており、それぞれが異なるアベイラビリティゾーンに配置されています。サーバーは水平方向にスケーラブルで、オブジェクトストレージをバックエンドに使用しています。監視はPrometheusが担当し、取り込み処理はVectorが担い、オブザーバビリティパイプラインをシンプルかつ効率的につなぎ合わせています。

Maruth氏の説明によると、この構成はAnthropicのあらゆる要件を満たしています。需要に応じてスケールでき、エンジニアがメンテナンスに追われることもありません。「そして何より重要なのは、すべてがAnthropicの安全な環境内でデプロイされ、完全に私たち自身の手で運用されているという点です」と彼は言います。

Anthropicの新しいオブザーバビリティ構成は、すでに大きな改善をもたらしています。Maruth氏の言葉を借りれば、「データベースは“グリーン”で、クエリは“稲妻のように速く”、お金も燃えていない」。

「以前のソリューションでは」と彼は説明します。「データベースの運用担当者は、やりたい作業に集中できず、眠れず、ストレスを抱えていました。彼らはデータベースの外で、サポートに連絡したり、再シャーディングや書き込みレプリケーションの修正について助けを求めたりすることに時間を取られていたのです。」

では今はどうか？「そういうことは一切ありません」とMaruth氏は言います。あるエンジニアは彼にこう言ったそうです。「最近、データベースが動いてることすら意識してませんでした。」それこそが理想の姿です。

ClickHouseのおかげで、膨大なデータセットに対する高速かつ信頼性の高いクエリが“当たり前”のものになりました。チームはインフラの心配をせずに、本当に重要なこと――より良いツールを構築し、より高速なモデルを提供し、Claudeの可能性をさらに広げる――に集中できるようになったのです。

オブザーバビリティのスケーリングに加えて、Maruth氏はこう述べています。「ClickHouseは、Claude 4の開発とリリースを支える上でも非常に重要な役割を果たしました。」高度なモデルをトレーニングするには、パフォーマンスメトリクスやシステム挙動を常時可視化する必要があります。ClickHouseは、そのデータをリアルタイムで分析するためのスピードと柔軟性を提供してくれました。「最先端の言語モデルの開発において、すでに大きな価値を発揮しています」と彼は言います。

現在、チームが見据えているのは次のフロンティア、すなわち「エージェント主導の分析（agentic analytics）」です。ClickHouseのMCPサーバーの導入により、Anthropicは自社モデル――たとえばエージェント型のコーディングツール Claude Code――をClickHouseに直接接続できるようになりました。これにより、エージェントがプログラム的にメトリクスをクエリし、質問を投げかけ、答えを得ることが可能になります。従来のクエリ言語を書く必要はありません。

「この展開にはとてもワクワクしています。私にとって、オブザーバビリティとはSQLやPromQLのことではなく、“問い”そのものだからです」とMaruth氏は語ります。「自分の問いを投げて、それに対する必要な答えを返してもらえる――本質的には、それがすべてなんです。」

ClickHouseを基盤に据えることで、Anthropicは今日のAIワークロードを支えるスケーラブルで安全な基盤を手に入れました。そして今後は、より動的でエージェント駆動の未来へと進もうとしています。

ClickHouseがあなたのチームのデータ運用にどれほどのスピードとスケーラビリティをもたらせるか、詳しく知りたい方は、ClickHouse Cloudを30日間無料でお試しください。