5.1万
概要
- OpenRouterはClickHouse Cloudを単一のデータストアとして活用し、顧客向け分析、公開モデルランキング、社内AIエージェント、500以上のモデルにまたがるルーティングを支えています。
- ClickHouseの導入以降、月間リクエスト数は33倍の197億件に達し、週間で110兆以上のトークンを処理しています。
- すべてのリクエストは継続的なルーティング評価のためにClickHouseへフィードバックされ、その同じデータが、実運用の利用状況に基づいてモデルを選択するTypeSafe AIのJev Routerを支えています。
開発者にどの LLM を使っているか尋ねると、大抵は「状況による」という答えが返ってきます。コードレビューなら最先端モデル、サポートチケットの要約なら低コストなモデル、あるいは別プロバイダーの同等モデルかもしれません。
OpenRouter は、開発者と推論プロバイダーの間に位置し、毎日 10 億件以上のリクエストを処理しています。80 社以上のプロバイダーにわたる 500 以上のモデルに対して単一のインターフェースを提供し、価格、品質、レイテンシ、スループットなど、ユーザーの好みに最も適したエンドポイント(モデルとプロバイダーの組み合わせ)へ各リクエストをルーティングします。
また、あるエンドポイントで問題が発生した際のフェイルオーバー処理によって別のエンドポイントへ切り替えたり、単一のプロバイダーでは提供できないモデルランキングを公開したりもしています。シニアデータエンジニアの Joe Ciesielski 氏は、「私たちはゲートウェイであり、個別のプロバイダー組織と結びついていないため、モデルが現実の世界で実際にどのように使われているかについての公開ランキングを提供できます」と語ります。
Joe 氏は ニューヨークで開催された Open House 2026 に登壇し、AWS と GCP 上の ClickHouse Cloud がそれらのランキングをはじめ、OpenRouter が分析データを使って行うほぼすべての処理をどのように支えているかを共有してくれました。同氏は同社の歩みを、プラットフォーム上で起きていることを「観察する(Observing)」、それをより深く「理解する(Understanding)」、そしてほぼリアルタイムのルーティング判断で「行動する(Acting)」という 3 つの「時代」に分けて説明しました。
ClickHouse とともに成長する
OpenRouter は 2024年11月に ClickHouse Cloud を導入しました。「大量のデータを非常に速い頻度で取り込み、同じデータセットから多種多様なロールアップを提供しなければならなくなるという、近い将来のニーズを見据えていました」と Joe 氏は述べています。ユーザー、プロバイダー、そして一般の利用者のそれぞれが、同じデータについてほぼリアルタイムに独自のビューを必要としていました。
2024年11月から 2026年8月にかけて、月間リクエスト数は約 6 億件から 197 億件へと 33 倍に拡大しました。OpenRouter は現在、週あたり 110 兆トークン以上を処理しており、ClickHouse 内の未加工の生成ログは約 1,340 億行に達しています。
データは複数の方向から ClickHouse に届きます。ゲートウェイは 同期バッチ挿入 と 非同期挿入 を組み合わせてリクエストのテレメトリを書き込みます。また、チームは新しい ClickPipes 向け GCP Pub/Sub コネクター のテストも進めており、Joe 氏は「使っていて実に楽しい」と評しています。非同期の分類器が各プロンプトにタスクタイプを匿名でタグ付けするため、OpenRouter はユーザーがモデルファミリー間でどのようにリクエストを分散させているかを把握できます。ClickPipes は Postgres トランザクションデータベースからデータを取り込み、Fivetran はサードパーティツールからデータを取り込んでいます。
データは未加工のテーブルとして投入され、マテリアライズドビュー がアクティビティ、エンドポイントの健全性、タスクタイプのロールアップへと変換します。その上には dbt と Airflow で構築されたウェアハウスが配置されています。
「ClickHouse データウェアハウス全体に保存されたデータは、オブザーバビリティ、AI エージェント、Slack ボット、そしてルーティングの決定を支えています。それらのルーティング決定の結果は再び ClickHouse に書き戻され、継続的なフィードバックループが作られています」
— Joe Ciesielski 氏(OpenRouter、シニアデータエンジニア)
オブザーバビリティ: 生成ログから顧客向けチャートまで
Joe 氏は、「ゲートウェイを利用するメリットの一つは、すべてのデータが一箇所に集まることです」と説明します。あるチームは OpenAI と契約し、Bedrock 経由で他のモデルにアクセスし、さらに別の場所で他の契約を結んでいるかもしれません。OpenRouter 経由でルーティングすることで、そのすべてが一元化されます。「これが自社のビジネスにとって極めて重要であることは分かっていました」と同氏は語ります。「早い段階からその重要性を意識し、データを顧客が利用できるようにしたいと考えていました」
リクエストテレメトリの蓄積が始まり、わずか数週間後の 2024年11月には、利用状況やトークンコストを示すユーザー向けアクティビティチャートが ClickHouse から読み取りを行うようになりました。2025年1月までにチームはエンドポイントのパフォーマンスロールアップと公開ランキングを追加し、2025年2月にはルーティング処理が同じデータからエンドポイントの健全性を読み取り始めました。
全体を貫くパターンは、「一度書き込み、多様な方法でロールアップする」というものです。Joe 氏が言うように、「ロールアップの追加が非常にシンプルなため、テレメトリを一度書き込むだけで、マテリアライズドビューを使って多彩な集計を提供できます」。
現在、これらのロールアップは幅広いダッシュボードやページを支えています。
- 利用状況、コスト、エラーを追跡するためのアクティビティとログ
- エンドポイントの健全性を示すプロバイダー向けダッシュボード
- アカウントエグゼクティブがエンタープライズの利用動向を把握するのに役立つ Mission Control
- パブリックリーダーボード、レイテンシ、稼働率を表示するランキングおよびモデルページ
統一されたクエリビルダーが ClickHouse の上に置かれ、これらすべてにデータを提供しています。新しいチャートやレポートを作成する際、エンジニアは標準的な API コールを実行します。必要なメトリクスとディメンションがビルダーに揃っていれば、API コールが SQL に変換されます。同じクエリビルダーは、OpenRouter の公開アナリティクスエンドポイントも支えています。
トレンドのモデルや各モデルにルーティングされたタスクの種類を示す ランキングページ は、「私たちの組織にとって非常に重要なフライホイールとなっています」と Joe 氏は述べています。「一般の方々が公開ランキングページを見て、『みんながこのモデルに注目しているみたいだから、OpenRouter で試してみよう』と言ってくれるのです。スクリーンショットを撮ってポストするのも簡単で、私たちが取り組んでいることへの盛り上がりを生み出してくれます」
Understand: エージェント向けに構築されたウェアハウス
2025年8月、チームはこのデータから他に何が読み取れるかを探ることにしました。「ClickHouse で利用可能なデータの中に、多くの潜在情報が眠っていることは分かっていました」と Joe は語ります。
チームは別のウェアハウスを立ち上げるのではなく、ClickHouse の内部にウェアハウスを構築しました。dbt による標準的なメダリオンアーキテクチャに従い、データはソースからステージング、ファクトとディメンション、そしてマートへと流れます。ウェアハウス内の dbt モデル数は比較的少なく、Joe の試算では 270 ほどで、各モデルのすべてのカラムにドキュメントが整備されています。「これはデータのアクセス方法において極めて重要です。主なアクセス手段がエージェントだからです」と彼は言います。
OpenRouter では社内向けに数十のエージェントが稼働しており、社内の誰もが自身のユースケースに合わせて新しいエージェントを立ち上げられます。チームメンバーは主に Slack 経由でエージェントとやり取りします。各エージェントは dbt のドキュメントを読み取ることができ、ClickHouse へのアクセス方法やクエリ作成時の注意点をまとめた Markdown ファイルで構成される、小規模なスキルセットを備えています。これによりスタッフは、データがどこにあるのか、どうクエリを組み立てるべきかを深く理解していなくても、ClickHouse から回答を引き出すことができます。
たとえば、顧客からリクエストが失敗しているという問い合わせがあった場合でも、サポートエンジニアが顧客 ID を調べてログやトレースを手作業で掘り下げる必要はありません。代わりにサポートチームのエージェントへ質問を投げるだけで、エージェントが次の処理を実行します。
- アカウント、そのキー、最近のアクティビティを特定する
- 失敗したリクエストをエンドツーエンドでトレースする
- 各エラーの原因がプロバイダー、顧客、OpenRouter のいずれにあるかを突き止める
- 証拠を添えて Slack 上で回答する
各ステップは、権限が制限されたサポート API 経由での ClickHouse の読み取り処理です。「これにより、社内の全スタッフが手作業で調べることなく、ClickHouse データベース内にあるあらゆる情報へ極めてスムーズにアクセスできるようになります」と Joe は語ります。
Act: 継続的な評価と Jev Router
「ルーティングこそが私たちのコアビジネスです」と Joe は言います。目標は、ユーザーのニーズを最も満たすエンドポイントへ各リクエストを届けることです。「ClickHouse は、この継続的な評価プロセスのまさに中心に位置しています。届いたすべてのリクエストがデータとなり、そのデータを使って後続のリクエストがユーザーのニーズをより的確に満たせるようにしています」
ユーザーが重視する点 (価格、速度、信頼性) を指定すると、ClickHouse はそれを提供できるプロバイダーを示します。このループには 4 つのステップがあります。OpenRouter はリクエストからユーザーの希望を読み取り、各プロバイダーのパフォーマンスを測定し、要求に最も適したプロバイダーを選択して、その結果を次のリクエストのために記録します。
このプロセスは時間とともに高度化してきました。2025年2月時点では、OpenRouter は価格や速度によるソートと、停止しているプロバイダーのスキップが可能でした。2025年5月までには、リクエストの成功実績が豊富なプロバイダーを優先するようになりました。2026年には、同じルーティングが画像、音声、動画、埋め込みにも拡張され、2026年半ばには信頼性、速度、品質、コストに基づいてプラットフォームがすべてのプロバイダーをスコアリングするようになりました。
最新の機能が、2026年10月に利用可能となった TypeSafe AI による Jev Router です。通常、ユーザーがモデルを選択し、OpenRouter がプロバイダーを選択します。Jev Router を使用すると、OpenRouter がモデルも選択します。Joe はこれを 4 つのステップからなる一種の「ディーラーズチョイス方式」と呼んでいます。
- 分類: 軽量な分類器が、プロンプトを約 30 種類のきめ細かなタスクタイプのいずれかに割り当てます。これらは公開ランキングページに表示されているタスクタイプと同じです。
- ランク付け: OpenRouter は ClickHouse のデータを使用し、そのタスクにおける実際の利用実績に基づいてモデルをランク付けします。「たとえばコードレビューを行いたい場合、最近の OpenRouter ユーザーがコードレビュータスクのためにどのモデルへルーティングしているかを確認します」と Joe は説明します。
- 絞り込み: ランキングはユーザーの制約条件 (機能要件、コスト帯など) に応じて絞り込まれ、アカウントレベルでのモデルおよびプロバイダーの制限、ガードレール、データ保持ゼロポリシーが遵守されます。
- 選択: ルーターがエンドポイントを選択し、フォールバックを常に準備しておきます。
OpenRouter の他のルーティングと同様に、その結果は ClickHouse に書き戻され、次の判断材料として活用されます。
多くのストリーム、単一のストア、1 つのループ
これら 3 つの時代を統合することで、単一のサイクルが形成されます。リクエストのテレメトリは顧客向けのチャートになります。ロールアップ、マート、エージェントが同じデータを読み取って何が起きているかを解明します。ルーターはそのデータを使って次のエンドポイントを選択し、その結果が新たなテレメトリとして再び蓄積されます。
「ClickHouse は、データを活用してユーザーのニーズを最適な形で満たし、オブザーバビリティを確立し、起きていることへの理解を深め、ルーティングに関する意思決定を下すための中心に位置しています」
— Joe Ciesielski 氏 (OpenRouter、シニアデータエンジニア)
