VisaがClickHouse CloudとLibreChatで数日がかりのレポート作成から対話型分析エージェントへと進化した方法

「Visaでは、エンタープライズ規模のデータアナリティクスに対する深い情熱を共有しています」と、同社のAuthorize.net決済ソリューションを担当するエンジニアリング担当シニアディレクター、Rafeeq Abdul氏は語ります。「この1年以上にわたってClickHouseと非常に強力なパートナーシップを築き、ビジネスインサイトを生み出し、ビジネス成果を推進する強力なアナリティクスプラットフォームを実現するビジョンを支えてきました。」

このパートナーシップは、2025年にVisaのオブザーバビリティチームが主要なアプリケーションロギングのユースケースをSplunkからClickHouseへ無事に移行したことから始まりました。オンプレミスで稼働するオープンソース版ClickHouseで構築されたこの初期の成功は、同データベースがVisaの基準でペタバイト規模のワークロードを処理できることを証明しました。ClickHouse活用の次のステップは、ログを超えてビジネスデータそのものへと踏み込むことでした。

Rafeeq氏はサンフランシスコで開催された2026 Open Houseユーザーカンファレンスに登壇し、VisaがClickHouse Cloud on AWSとLibreChatを活用して、Visaのエコシステム内の主要な統制とガバナンス原則を尊重しつつ、大規模なサブ秒インサイトを提供する会話型AIインテリジェンスレイヤーをどのように構築したかを共有しました。

データからシグナルを引き出す #

VisaのソリューションであるAuthorize.netは、中小企業(SMB)がオンラインでクレジットカード決済および電子決済を受け付けられるようにするサービスです。同プラットフォームは、年間約2億5,000万ドルの収益を、200万件の認証イベントと50万件の生トランザクションを通じて分析しており、データフットプリントは約40ペタバイトに達し、日々増加しています。

「この数字はボリュームを物語っています」とRafeeq氏は言います。「しかし、その裏にはストーリーが隠れています。」

Rafeeq氏が語るそのストーリーとは、これらの数字が何を可能にするかということです。「データは燃料です」と彼は言います。価値は単一のテーブルからではなく、複数のテーブルをまたいで浮かび上がるシグナルから生まれます。マーチャント、ゲートウェイ、利用状況、API、セグメンテーション、レコメンデーション、離脱、収益……それぞれが同じ決済アクティビティを異なる視点から捉えたものであり、そのすべてがマルチデータベーストポロジーの数百のソーステーブルに分散し、個々のクエリは数百万行をスキャンします。

そして、各シグナルはそれぞれ異なるオーディエンスにとって重要だとRafeeq氏は付け加えます。プロダクトマネージャーは、製品がどのように採用されているかを理解するために顧客、利用状況、離脱に関するシグナルを必要とします。Visaの経営陣は、簡潔な収益とトレンドのサマリーを求めます。そして製品自体も、機能を支えたり顧客向けにインサイトを提示したりするために同じデータを活用しています。

VisaがClickHouse Cloudを選んだ理由 #

Rafeeq氏が説明するように、Visaにとって長年の課題は、データへのアクセスというよりも、それを行動につなげられるだけの速さで取得することでした。レガシーパイプラインでは大量のデータを非効率に処理していたため、日次、週次、月次のレポートを作成するのに2〜3日かかることもありました。そもそも回答を得ようとすれば、通常は専門のデータアナリストに問い合わせを回し、数日待たなければなりませんでした。レポートが手元に届くころには、それを基に行動を起こす好機はすでに過ぎ去っていたのです。

「そこで私たちは、データアナリティクススタックをクラウドネイティブに完全に刷新し、ビジネス価値を引き出してビジネス成果を推進できるリアルタイムプラットフォームを構築するという挑戦に踏み出しました」とRafeeq氏は語ります。

同チームがClickHouse Cloudを選んだ理由は複数あります。まずRafeeq氏によれば、スケール管理の負担を「完全にオフロード」してくれたことで、チームははるかに少ない摩擦でインフラを立ち上げ、成果に集中し続けることができるようになりました。また、ストレージとコンピュートの分離により、コストを細かくコントロールでき、単位コストを実際の需要に合わせてサイジングできます。

パフォーマンスと機能面では、ClickHouseは数百カラムにわたるフラットテーブルのスキャンで優れた性能を発揮し、Power BIを含むBI統合に対してエンタープライズレディであることが証明され、最先端の暗号化とCMEKサポートも提供しました。Rafeeq氏はまた、ClickHouseの優れた圧縮とストレージ効率や、活発で成熟したコミュニティも強調しており、これらが相まって同プラットフォームに「非常に強固な基盤」を与えていると述べています。

LibreChatとClickHouse MCPで会話型アナリティクスエージェントを構築 #

ClickHouse Cloudをバックボーンとして、チームは誰もが利用できるインターフェースを構築しました。このソリューションは、ClickHouseが買収したオープンソースの会話型AIインターフェースであるLibreChatと、AIエージェントがClickHouse Cloud内のデータを探索しクエリを実行できるようにするClickHouse MCPサーバーを組み合わせたものです。

その効果は、Rafeeq氏の言葉を借りれば「全ユーザーに知識を均等に分配する」ことです。Visaの社内チームは熟練したSQLエンジニアである必要はなく、自然言語で質問を投げかけることができ(例えば「マーチャントセグメント別の収益リスクを表示して」など)、JOINや非正規化の複雑さはすべて舞台裏に隠されたままです。

結果は明確で、数百万行に対するクエリがサブ秒で完了します。Rafeeq氏の言葉を借りれば、「生データを有用なインサイトに変える数日がかりのプロセスが、ミリ秒に圧縮されました」。

ClickHouseのマテリアライズドビューは、新しいデータが到着するたびに結果を事前計算し、増分的に更新する仕組みで、これがパフォーマンスの大きな要因となっています。他のデータベースの類似アプローチとは異なり、ClickHouseのマテリアライズドビューは、静的な時間間隔ではなく、インサートが発生するたびに処理を行います。ある例では、500,000行をスキャンして2〜3秒かかっていた収益分析が、624行のマテリアライズドビューから読み取ることで、わずか100ミリ秒、およそ50倍高速になりました。カードブランド別の承認分析は、200万行の読み取りに3〜5秒かかっていたものが、29,000行のビューで100ミリ秒、約70倍高速になりました。また、複数テーブルのジョインが必要で5〜8秒かかっていたマーチャントリスク分析は、事前にジョイン済みのビューを使用することで200ミリ秒で完了するようになり、約30倍高速になっています。

「重要なビジネス判断を下す担当者にとって、すべてのシグナルは重要です。そして、その判断を下すのに何日も待っていられません。ClickHouse CloudとLibreChatは、リアルタイムのインサイトを適切な人に届け、リスクを抱えたマーチャントを特定し、数百万ドル規模の潜在的な収益リスクを可視化するのに役立っています。」

— Rafeeq Abdul、Visa エンジニアリング担当シニアディレクター

新鮮なデータ、セキュアかつガバナンスの効いた制御 #

Rafeeq氏は、これらの成果がセキュリティを犠牲にして得られたものではないことを強調します。「Visaのデータコンプライアンスとガバナンスの主要原則は厳格に維持されています」と彼は語ります。

ClickHouseは、Visaのセキュリティおよびコンプライアンス要件に合わせた柔軟なデプロイメントを提供します。新しいパイプラインでは、データはオンプレミスのSQLデータベースから始まり、それらはそのまま維持されます。ファイルは転送中にPGPで暗号化され、保護された生データストアとしてAmazon S3に引き渡されます。そこからVPC PrivateLink接続を介してカスタムETLパイプラインがデータをClickHouse Cloudに移動させるため、データプレーンはパブリックインターネットではなくプライベート接続経由でアクセスされます。

このアーキテクチャは、鮮度と制御の両方を実現するとRafeeq氏は説明します。チェンジデータキャプチャ(CDC)とマテリアライズドビューによってデータは最新の状態に保たれ、チームが利用しやすい形に整形されます。同時に、フェデレーテッドアクセス制御によって誰が何を閲覧できるかが管理されます。その結果、受け渡しが減り、管理がシンプルになり、規律ある企業向けの制御のもとでリアルタイムのインサイトが提供されます。

ビジネスへのインパクト:収益と時間の節約 #

レイテンシとパフォーマンスの成果も印象的ですが、Visaにとって最大の見返りは、これらがビジネスにもたらす価値です。リスクを抱えたマーチャントをリアルタイムで特定できるようになったことで、数百万ドル規模の収益リスクを、対応可能なほど迅速に浮かび上がらせることができました。従来のシステムでは、このようなシグナルは数日遅れで現れることがほとんどでした。

生産性の面でも、以前はアナリストの週の作業時間を大きく消費していた業務が、実質的にゼロになりました。手動によるダッシュボード作成、数百のテーブルにわたるデータ検索、インテーク/オンボーディング用のレポート作成は、今や完全にセルフサービス化され、自然言語によってオンデマンドで生成され、2〜3日ではなく数秒で結果が返ってきます。「今ではすべてが自然言語で指先ひとつで利用できます」とRafeeq氏は語ります。総じて、このプラットフォームによってVisaは1ユーザーあたり週8〜10時間を取り戻し、チーム全体で月に数千時間を節約できていると推定しています。

ClickHouse Cloud、LibreChat、そしてClickHouse MCPサーバーにより、Splunkからのログ移行として始まった取り組みは、Visaのビジネスチームがペイメントデータを直接、SQLの専門家を待たずに問い合わせできる手段へと発展しました。今後についてRafeeq氏は、「引き続きパートナーシップを拡大し、我々のプラットフォームの上にさらに構築していく」予定であり、Visaの誰もが自然言語でリアルタイムに答えられる質問の範囲を広げていくと語っています。