Luzmo が ClickHouse Cloud を活用して高速なエンドユーザー分析を実現する方法

Luzmo は、データ集約型アプリケーションがユーザーに対して、超高速でアクセスしやすい分析機能を提供できるようにします。強力なビジュアライゼーションとAIによる探索機能をアプリケーションに直接統合することで、Luzmoはデータ中心のソフトウェアを構築するチームが、大量の情報を顧客にとって直感的で実行可能なインサイトへと変えられるよう支援しています。

Luzmoを利用する企業の中には、マーケティングや営業のプラットフォーム内で、おなじみのSaaSメトリクス(キャンペーンのパフォーマンス、ROI、利用傾向など)を可視化するために使っている企業もあります。一方、ベルギー最大の通信事業者であるProximusのように、まったく異なる領域で運用している企業もあり、そこではロケーションインテリジェンスや大規模な運用データの可視化、探索、そしてマネタイズが求められます。いずれのケースでも、基盤となるデータがどれほど複雑であっても、分析は瞬時に行えるように感じられる必要があります。

最初から、そうした体験を提供するには、それに追従できるインフラを選ぶ必要がありました。Luzmoの共同創業者兼CTOであるHaroen Vermylen氏に話を聞き、なぜチームが当初ClickHouseを採用したのか、オープンソースから ClickHouse Cloud への移行のきっかけは何だったのか、そしてClickHouseがその後社内でどのように広まり、エンドユーザー分析からオブザーバビリティ関連のワークロード、ベクトル検索に至るまであらゆるものを支えているかについて伺いました。

Luzmoが当初ClickHouseを選んだ理由 #

Luzmoは2015年にベルギーのルーヴェンで(Cumul.ioとして)設立されました。それから2年後、チームはClickHouseに出会いました。「なかなかの道のりでした」とHaroen氏は笑顔で語ります。

当時Luzmoは、Luzmoにデータをホスティングしてもらうことを好む顧客向けにデータを保存・分析するための、高速な内部ウェアハウスを必要としていました。Luzmoはフェデレーション型(多くの顧客は自社のシステム内にデータを保持する)ですが、効率的にデータを保存しクエリ実行してもらうためにLuzmoを利用する顧客もいます。

当時はまだ、分析の世界の多くで「本格的なパフォーマンス」と言えば、大規模な分散システムや巨大なクラスタが連想されていました。スケールするには通常、インフラに多額の投資をし、運用上の大きな複雑さを引き受ける必要がありました。

その1年前にオープンソース化されたClickHouseは、異なるトレードオフを提示しました。スピードを引き出すために大規模なインフラを必要とするのではなく、小規模でも大きなパフォーマンス向上を実現し、必要に応じてスケールアップする明確な道筋も用意されていたのです。「ClickHouseが登場して、自分のノートパソコンで動いた」とHaroen氏は振り返ります。「それはかなり驚きでした。」

チームはいくつかの代替案も評価しましたが、ClickHouseのようなパフォーマンス・柔軟性・スケーラビリティの組み合わせを兼ね備えたものはありませんでした。「私たちは顧客に高速な体験を届けたい」とHaroen氏は言います。「だからこそ、ClickHouseに落ち着いたのです。」

オープンソースからClickHouse Cloudへ #

2022年後半、ClickHouseは ClickHouse Cloud をリリースし、クラスタの管理を自分たちで行わずにClickHouseを運用できる手段を提供しました。Luzmoは最初の顧客の一社として登録しました。

Haroen氏とチームにとって、その動機は非常にシンプルでした。彼らはそもそもインフラを管理することを目指していたわけではないからです。「私たちのビジネスは分析を構築することです」と彼は言います。「クラスタの運用は本来のコアビジネスではないので、それは手放したい仕事でした。」

マネージドサービスに移行することで、チームは日々の運用作業から解放され、顧客向けの分析やレポート機能の構築に集中し続けることができました。プロビジョニング、アップグレード、継続的なメンテナンスをClickHouse Cloudが引き受けつつ、Haroen氏とチームが当初ClickHouseに惹かれたパフォーマンス上の利点とスケーラビリティはそのまま保持されるという、「両方の世界の良いとこ取り」の状況でした。

1つのプラットフォーム、多様なユースケース #

長年にわたり、LuzmoによるClickHouseの活用は、顧客向け分析の枠を大きく超えて発展してきました。Haroen氏が冗談めかして言うように、「ClickHouseは社内でかなり感染力が強かった」のです。

たとえばLuzmoは現在、オブザーバビリティ関連のワークロードにもClickHouseを使い、クエリログやプラグインログを保存することで、チームと顧客の双方が本番環境でのクエリの挙動を理解できるようにしています。この可視性により、顧客は遅いクエリを特定し、問題を特定のデータソースまで追跡し、分析がどのように動作しているかについて十分な情報に基づく意思決定を下せるようになります。

最近では、ClickHouseはLuzmoの ベクトル検索 への取り組みの一部にもなっています。別のシステムを導入する代わりに、チームはClickHouseを使って埋め込み、メタデータ、関連データを保存し、Haroen氏が「あまり想像されないユースケース」と表現する領域にもプラットフォームを拡張しています。

実際のところ、ClickHouseは一種のデフォルトになっています。一度導入されると、不必要なアーキテクチャの肥大化を招かずに、次の問題に対する最もシンプルで効果的な選択肢となることが多いのです。

未知に対応するエンジニアリング #

Luzmoのアーキテクチャには、いくつかのユニークな課題があります。マルチテナントプラットフォームとして、チームはデータが届くまで、どのようなデータを受け取ることになるか分からないことがよくあります。これにより、数万のテーブル、変動の大きいスキーマ、そして事前定義されたモデルにきれいに収まらないワークロードが生じます。

加えて、多くの顧客クエリは複数のシステムにまたがります。この複雑さを管理するため、Luzmoは独自のクエリエンジンを構築し、これらのリクエストを最適化・調整し、順序付けやグループ化を行って負荷を軽減し効率を改善しています。場合によっては、大量の受信クエリを単一のより効率的な操作に統合することができ、ClickHouseへの負荷を減らしながら高速な結果を提供できます。

これらの課題の一部にはカスタムなエンジニアリングが必要でした。しかし時間とともに、ClickHouse自体の改善によって多くの粗さが解消されてきたとHaroen氏は言います。新機能やデータ型は、本質的に予測不能なデータを扱う環境においても、可能なことを拡張し続けています。

「高速、汎用的、コスト効率に優れる」 #

Luzmoは自社を「製品に分析機能を組み込む最速の方法」と謳っています。Haroen氏にとって、その約束は内部でClickHouseが果たす役割と密接に結びついています。

現在、ClickHouse Cloudはエンドユーザー分析からオブザーバビリティ、そしてベクトル検索のような新しいワークロードまで、あらゆるものをサポートしています。Luzmoが必要とするパフォーマンス、新たなユースケースに対応する柔軟性、そして摩擦なくスケールできるコストプロファイルを提供します。そしてそのすべてを、エンドユーザーにとっての分析を高速かつ容易に保ちながら実現しています。

LuzmoのClickHouse体験を一言でまとめてほしいと尋ねると、Haroen氏は少し考えてからこう答えました。「極めて高速、極めて汎用的、極めてコスト効率に優れる。」