ClickHouseがOpen Secure AI Allianceに参加

ある AI エージェントがサンドボックスを脱出し、Hugging Face の本番サーバーにアクセスするインシデントが発生しました。侵害を封じ込めるには、エージェントが実際に何を行ったかを再構築する必要がありました。ホスト型のクローズドモデルに備わったセーフティガードレールによって最初のフォレンジック調査が阻まれたため、Hugging Face 自身のインフラ上で動作するオープンウェイトモデルを使い、17,000 件以上のアクションを検証することになりました。

このインシデントは、Open Secure AI Alliance 設立における重要な教訓の 1 つとなりました。このアライアンスは、防御側が自社インフラ上で AI セキュリティシステムを検査、適応、運用できるよう、オープンなモデル、ハーネス、ツール、技術を構築・共有することを目的としています。ClickHouse は、NVIDIA や他の業界リーダーとともにこのアライアンスに参加し、AI エージェントの安全性を保つオープンツールの構築を支援していきます。

エージェントセキュリティの根底にある「証拠」 #

エージェントが侵害された際、調査の成否を分けるのは、エージェントが実際に行ったことの記録です。そこには、すべてのモデル呼び出し、ツール実行、情報取得、中間判断が含まれます。これは、エージェントが単に予期しない挙動を示した場合でも同様です。その記録こそがエージェントセキュリティにおける証拠レイヤーであり、エージェントを運用するエンジニアからセキュリティチーム、コンプライアンスチームに至るまで、それを必要とするすべてのチームが利用できる、オープンで検査可能な状態にしておく必要があります。

Langfuse: AI エージェントのためのオープンな監査レイヤー #

Langfuse は、エージェントのトレース、評価、ガードレール監視のための、MIT ライセンスで提供されるオープンソースプラットフォームです。エンジニアリングチームはこれを使用して、本番環境で LLM アプリケーションやエージェントが何を実行しているかを把握、スコアリング、検証できます。Fortune 50 のうち 21 社のチームを含む 10 万人以上のエンジニアが Langfuse 上で開発を行っており、プラットフォームは月間 100 億件以上のオブザベーションを処理しています。このオープンソースプロジェクトは、GitHub で 32,000 個以上のスターを獲得し、300 人以上のコントリビューターを抱えています。

あらゆるモデルに対応: 自社で運用するオープンウェイトモデル上に構築されたエージェントも、クローズドな API 上に構築されたエージェントも、1 つの監査プレーンでトレースできます。インシデントによって応答の途中でモデルの切り替えを余儀なくされた場合でも、証拠レイヤーはそのまま残ります。

あらゆるハーネスに対応: ネイティブの計装により、LangChain、LlamaIndex、Vercel AI SDK、OpenAI SDK をカバーしています。それ以外の環境も、OpenTelemetry を通じて接続できます。

測定可能なガードレール: 評価は本番トラフィックに対して実行され、すべての出力をスコアリングするため、ガードレールが作動したタイミング、ドリフト、障害を把握できます。Langfuse は、NVIDIA NeMo Guardrails、LLM Guard、その他のライブラリを含む一般的なライブラリで構築されたガードレールパイプラインを監視します。これにより、チームは実際のトラフィックに対するチェックを比較し、どのガードレールが攻撃を実際に検知できているかを証明できます。また、厳格な規制対象業界の組織は、EU AI 法を含むコンプライアンス要件を満たすための記録保持レイヤーとしても Langfuse のトレースを活用しています。

自社インフラで完結: Langfuse は、自社インフラ上のエアギャップ環境で動作します。トレースが生成元のネットワーク外に出ることは一切ありません。

あらゆるレイヤーでオープン #

Langfuse は、すべてのトレースを ClickHouse に保存します。エージェントのトレースは、大規模な分析データそのものです。Langfuse だけで、毎月 100 億件以上のオブザベーション (スパン、ツール呼び出し、評価スコア) を ClickHouse に書き込んでおり、インシデント対応担当者は事態が進行する中でもそれらを数秒でクエリできる必要があります。まさにこれこそが、ClickHouse が処理するために設計されたワークロードです。

ClickHouse は Apache 2.0 ライセンスに基づくオープンソースプロジェクトであり、過去 10 年間で数億回ダウンロードされています。セキュリティチームはすでに、もっとも負荷の高いワークロードの一部を ClickHouse 上で運用しています。Cisco Talos は ClickHouse Cloud 上で脅威インテリジェンスのレピュテーションサービスを運用し、ファイルハッシュを分類してリサーチャーが迅速なセキュリティ判断を下せるようにしています。Cloudflare は、ボット管理プラットフォーム内で ClickHouse を運用し、毎秒平均 1,100 万件のリクエストを処理するネットワーク上ですべての検知ログを記録していることを公表しています。この両社も同アライアンスのメンバーです。私たちのオープンソースのオブザーバビリティスタックである ClickStack は、OpenTelemetry ネイティブのログ、メトリクス、トレースを単一のエンジンに統合します。

オープンドメインへの貢献 #

NVIDIA による Open Secure AI Alliance の発表では、セキュリティが依存するエージェントスタック全体 (ID、権限、ハーネス、ガードレール、ログ、評価) が挙げられています。私たちの貢献は、以下の点に焦点を当てています。

• エージェントフォレンジックのためのオープンな計装とトレーススキーマ: OpenTelemetry 上に構築され、インシデント対応担当者がベンダーごとではなくハーネスを横断してエージェントの挙動を再構築できるようにします。
• 異常なエージェント挙動を検知するためのオープンな評価パイプライン: 管理下にあるインフラ上で、オープンウェイトモデルを判定役 (Judge) として実行可能です。
• エアギャップ環境向けエージェントオブザーバビリティのリファレンスアーキテクチャ: 規制環境やソブリン環境でも、他と同様の監査機能を実現できるようにします。

今後の展望 #

攻撃者はすでにフロンティア AI を活用しています。防御側は、エージェントが何を行っているかを把握し、それを後から証明し、その機能を自社が管理するインフラ上で運用できなければなりません。エージェントセキュリティは証拠に基づいて成り立ち、トレースこそがその証拠です。だからこそ、AI エージェントの監査レイヤーは、それらが稼働するモデルと同様にオープンであるべきです。今まさにその取り組みが求められており、ClickHouse がアライアンスに参加したのは、AI やエージェントのためのオープンで信頼できる監査基盤の構築を支援するためです。

Langfuse をセルフホストすれば、トレース UI からデータベースに至るスタック全体を自社で運用でき、すべてのレイヤーのソースコードを確認できます。