LangfuseがAI Gatewayをリリース

あらゆる AI アプリケーションは、プロンプト、モデル呼び出し、コスト、評価結果といったデータを継続的に生成します。そうしたデータを大規模に保存し、クエリを実行することこそ、まさに ClickHouse が作られた目的です。そのため Langfuse は ClickHouse 上で稼働しており、1月には ClickHouse に合流しました。Langfuse は、プロンプト管理から本番環境のモニタリングに至るまで、数千ものチームが自社の AI アプリケーションをトレース、評価、改善するために使用しているオープンソースの AI エンジニアリングプラットフォームです。Langfuse は AI Gateway のパブリックベータ版の提供を開始します。これにより、コーディングエージェントによるものを含め、すべてのモデル呼び出しが、誰が実行し、いくらかかったかという情報とともに一元管理されます。詳細は Langfuse チームからお伝えします。

私たちは Langfuse AI Gateway のパブリックベータ版の提供を開始します。次の新製品をご紹介できることを嬉しく思います。モデルの利用、コストの追跡、AI へのアクセスのガバナンスを一元化するために、次に開発してほしい機能として本機能のフィードバックを寄せてくださった皆様に感謝いたします。

Langfuse AI Gateway を開発した理由 #

過去 3 年間で、企業の AI 利用方法は大きく変化しました。もはや 1 つのチームが構築した 1 つのチャットボットにとどまりません。全エンジニアのノート PC 上で動くコーディングエージェント、各チーム内の AI アシスタント、ボトムアップで導入されたワークフローツール、そして本番稼働している多数のカスタム AI アプリケーションが存在します。

企業にとって、組織内の誰がどのモデルを何のために使用しているのか、コストはいくらかかっているのか、安全性は確保されているのか、そしてどのように最適化とガバナンスを進めるべきなのかという問いに答えることがますます難しくなっています。

社内での AI 利用の管理は、それ自体が独立した専門領域になりつつあります。

• プラットフォームチームは、大規模な環境において AI の導入を安全かつシンプルで、手頃なコストで実現することを求められています。
• 財務チームは、毎月プロバイダーやチームを横断して AI コストを追跡する必要があります。

Langfuse AI Gateway は、すべての AI トラフィックを統制するための中心的なエントリポイントであり、ホスティング、導入、適用が容易です。すべてのリクエストを Langfuse にネイティブに記録できるため、AI の利用状況を分析し、それに基づいた意思決定を行えます。

Langfuse がこの領域に適している理由 #

Langfuse は、AI のオブザーバビリティと評価における主要なオープンソースプロジェクトです(GitHub スター数 35,000 以上、月間 900 億件以上のオブザベーション、月間 9,000 万回以上のパッケージダウンロード)。Fortune 50 のうち 21 社や、Ramp、Hugging Face、Canva といった先進的な AI ネイティブ企業が、自社の AI エージェントの把握と改善のために Langfuse を活用しています。AI ゲートウェイにはスケーラビリティと信頼性が求められ、エアギャップ環境でセルフホストすることで規制の厳しい業界における多くのセキュリティ上の懸念を解消できるため、ここではオープンソースであることが重要です。

ゲートウェイの追加は、ユーザーから非常に多くの要望が寄せられていた機能でした。社内の AI 利用状況を完全に把握するには、すべてのモデル呼び出しを可視化する必要があります。100 以上のインテグレーションにより、構築された AI エージェントの多くはすでにカバーされていますが、企業の AI 利用の多くは、コーディングエージェントや社内アシスタント、スクリプトなど、誰もインストルメンテーションを行っていないツールで発生しています。ゲートウェイはすべての呼び出しが通過する中心に位置するため、見落としがありません。また、トークン数とコストの集計しかできない単体のゲートウェイとは異なり、Langfuse は各呼び出しを検索、評価、改善が可能な完全なトレースへと変換します。そのため、ネイティブなゲートウェイの追加は、Langfuse にとって自然な次のステップでした。

コスト管理にとどまらないゲートウェイの機能 #

一般的なゲートウェイの大半は、AI のコストを提示するだけです。Langfuse AI Gateway は、そこからさらに一歩進み、ゲートウェイを経由するすべての呼び出しを Langfuse の完全なトレースに変換します(オプトイン方式)。

支出の可視化。 すべての呼び出しのコストと使用量は、モデルおよびプロバイダーごとに単一の AI 支出ダッシュボードに集約されます。キーごとに支出上限を設定し、想定外の請求が発生する前にアラートを受け取ることができます。

誰が支出しているかを把握。 すべてのキーは個人またはサービスに紐づき、チームやコストセンターを関連付けられるため、AI の支出を自社の組織構造に沿って内訳表示できます。

何に支出されているかを理解。 各呼び出しは単なる費用の 1 行ではなく、完全なトレースとして記録されます。アプリケーションやチームがモデルを使って実際に何を行ったかを確認できるほか、Langfuse で普段使用しているのと同じ検索、評価、アノテーション機能も活用できます。あるいは、Halo に「このチームは何のために Claude Code を使っているのか？」と質問するだけで確認できます。

使用するモデルを制御し、安全性を維持します。 モデルを一元的に承認することで、高コストなモデルや未審査のモデルが気付かないうちに紛れ込むのを防げます。記録する対象は、使用状況とコストのみ、プロンプトとレスポンスの全文、あるいは何も記録しないか、自由に決定できます。

より詳細なトレーシングの段階的な導入。 ゲートウェイの利用を必須にすることで、すべてのモデル呼び出しのロギングを徹底できます。また、OpenTelemetry や 50 以上のインテグレーションを通じて、複雑なエージェントによるツール呼び出しの実行ログなど、Langfuse 内の AI トレースの詳細度をチームごとに段階的に高めていくことができます。OpenTelemetry の分散トレーシングにより、これらのトレースは Langfuse 内で統合されます。

エージェントのメモリとしての Langfuse の活用。 Langfuse 内のすべてのデータは MCP および CLI 経由で利用できるため、エージェントが過去に行ったすべての AI リクエストを検索できるように設定できます。これが自己改善ループの基盤となります。

メトリクスと未加工ログをデータレイクへエクスポート。 これにより、財務チームやデータチームにおける任意のダウンストリーム処理に対応できます。

完全なオープンソース #

• オープンソース。 Langfuse の他のコンポーネントと同様に、コアとなるゲートウェイは MIT ライセンスです。独自のインフラで実行することも、Langfuse Cloud でフルマネージド版を利用することもできます。
• セルフホストが容易。 追加の依存関係なしに、既存の Langfuse インスタンスと並べて 22 MB の単一 Docker イメージとしてデプロイできます。ドキュメントを読む。
• 自社のキーをそのまま利用、マージンなし。 モデルプロバイダーやクラウドプロバイダーとの契約、料金レート、データ非保持 (zero data retention) などのコンプライアンス合意はそのまま維持されます。トークンの再販は行いません。

最大限のパフォーマンスと予測可能なスケーリングを目指した設計 #

• Rust 製。 利用ピーク時でも高いパフォーマンス、可用性、信頼性を発揮できるよう、ゲートウェイを Rust で構築しました。
• 高速性。 トレーシングを有効にした状態でのレイテンシ中央値は 3 ms 未満です。
• 高い信頼性。 2 vCPU の単一ノードで 1,000 以上の同時ストリームを処理できます。
• 予測可能なスケーリング。 メモリフットプリントは負荷に応じて比例してスケールします。

今後の展望 #

これは始まりに過ぎません。AI 利用のガバナンスを強化するため、AI Gateway に向けた充実したロードマップを用意しています:

• コスト: チーム、ユーザー、API キーごとの支出上限設定
• 信頼性: プロバイダー間のフォールバック
• 安全性: ガードレールと PII (個人情報) のマスキング
• アクセス管理: ユーザープロビジョニング (SCIM)
• 対応プロバイダーの拡充: Bedrock、Vertex、Google AI Studio、カスタムプロバイダー
• モデルルーティング: タスクに最適なモデルの自動選択

これらの機能の設計パートナーにご興味のある方は、お問い合わせください。

使い始めるには #

ゲートウェイはパブリックベータ版として提供されており、今すぐお試しいただけます。管理者の場合は、まず組織向けのゲートウェイをセットアップし、Organization settings → AI Gateway でゲートウェイキーを作成してください。

ご利用のアプリやコーディングエージェントの接続先をリージョンのゲートウェイホスト (例: https://gateway.cloud.langfuse.com) に向け、プロバイダーキーの代わりにゲートウェイキーを使用します。インバウンドトラフィックを確認するには、Tracing 内の取り込みプロジェクトを開いてください。

1import os
2
3from openai import OpenAI
4
5# 変更前: client = OpenAI()
6client = OpenAI(
7    base_url="https://gateway.cloud.langfuse.com/openai/",
8    api_key=os.environ["LANGFUSE_GATEWAY_KEY"],
9)

Claude Code や Codex などのセットアップに関する詳しい手順については、最初のリクエストを送信するを参照してください。

Langfuse は 1 月から ClickHouse の一員となっており、Langfuse AI Gateway は今回の多くの大型リリースの 1 つです。現在、ClickHouse Cloud の提供開始以来最大の ClickHouse プラットフォームの拡張を発表しており、Postgres、オブザーバビリティ、セキュリティ、AI エンジニアリングにわたる新機能を導入しています。詳細はこちら。