Sony LIV が ClickHouse Cloud で数十億行規模のライブストリーミング分析を実現した方法

注目のクリケットの試合が最終オーバーを迎えたとき、あるいは UEFA チャンピオンズリーグの決勝トーナメントがペナルティキック戦にもつれ込んだとき、何百万人もの人がスマートフォンに手を伸ばします。トラフィックは予告なく急増します。Sony LIV のようなストリーミングプラットフォームにとって、その瞬間こそが最大の試練です。

2013 年にサービスを開始した Sony LIV は、インドを代表する OTT プラットフォームの一つへと成長し、ライブスポーツ、エンターテインメント、オリジナル作品、映画、テレビ番組を何百万人ものユーザーとデバイスに配信しています。その規模は非常に大きく、特にライブスポーツイベント中は、同時接続数とテレメトリ量がごく短い時間で急激に跳ね上がることがあります。

映像配信に加えて、Sony LIV のデータおよびプラットフォームエンジニアリングチームは、プラットフォーム全体で何が起きているかを把握するためのインフラの提供を担っています。個々のユーザーがストリームをどう体験しているか、サービスがどれだけ持ちこたえているか、広告がどのような成果を上げているかまで、その対象は幅広いものです。Platform Engineering 担当 VP の Vaibhav Gupta 氏は、「リアルタイムの運用可視性とユーザー分析は、ビジネス上きわめて重要です」と語ります。

Sony LIV が ClickHouse Cloud を中心に分析インフラをどのように再構築したのか、Vaibhav 氏に伺いました。「全体の目標は、クラウドネイティブでリアルタイム性と高いスケーラビリティを備えたデータプラットフォームを構築し、大規模なライブイベント中のビジネスインテリジェンスと運用上の意思決定の両方を支えることです」と同氏は言います。

ライブイベントではなくバッチ向けに作られたスタック #

ClickHouse 導入前、Sony LIV の分析エコシステムは、従来型のデータウェアハウス、バッチパイプライン、Elasticsearch ベースのオブザーバビリティワークフロー、BigQuery ベースの分析ワークロード、そして複数の分断されたテレメトリストアの組み合わせに依存していました。「これらのシステムは特定のユースケースでは機能していましたが、規模が拡大するにつれていくつかの制約に直面しました」と Vaibhav 氏は振り返ります。

第一の制約は速度でした。Vaibhav 氏によると、ほとんどのパイプラインは超低レイテンシのストリーミング分析ではなく、バッチ分析向けに最適化されていました。「ライブスポーツイベント中、運用チームには数分ではなく数秒以内の可視性が必要です」と同氏は言います。

コストも次第に大きな懸念になっていました。テレメトリ量が 1 日数十億イベントに達するにつれ、ストレージとクエリのコストは「大幅に増加した」と Vaibhav 氏は言います。特に高カーディナリティのオブザーバビリティワークロードと、長期保持が必要な分析で顕著でした。

分断は、この 2 つの問題の解決をさらに難しくしていました。再生テレメトリ、CDN メトリクス、アプリケーションイベント、クリックストリームデータ、アドテクイベントは、すべて別々のシステムに存在していました。ライブイベント中に一貫した全体像を組み立てるには複数のソースのデータをつなぎ合わせる必要があり、時間がかかるため、多くの場合は肝心の瞬間が過ぎてからになっていました。

一方で、チームはクエリ性能の大きなボトルネックにも直面していました。大規模なテレメトリデータセットに対するアドホックな分析クエリは、特にトラフィックのピーク時に「ますます遅く、高コストになっていった」と Vaibhav 氏は言います。

そして、ライブスポーツのトラフィックそのものの問題がありました。Vaibhav 氏によれば、ライブスポーツのトラフィックは通常のトラフィックとは異なる振る舞いをします。「ウィケット、ゴール、あるいは試合の大きな出来事の後、数分のうちにトラフィックが数倍に急増することがあります。既存のシステムは、こうしたパターンに合わせて効率的にスケールするのに苦労していました」

すべてをこなせるシステムを探して #

チームは、より良い解決策が必要だと分かっていました。運用テレメトリとプロダクト分析の両方のワークロードに焦点を当て、いくつかの分析・オブザーバビリティプラットフォームを評価しました。

主な要件として、Sony LIV には、非常に大規模なデータセットに対する 1 秒未満のクエリ応答時間、ライブイベント中の高い取り込みスループット、1 日数十億イベント規模でもコスト効率の良いストレージ、そして運用ダッシュボード向けのニアリアルタイムな処理とクエリが必要でした。さらに、多様なユースケースを支えられる単一のデータプラットフォームを求めており、アーキテクチャは予測できないトラフィックの急増時に水平にスケールできなければなりませんでした。

一つのプラットフォームに求める要件としては多すぎることを、Vaibhav 氏も承知していました。「ほとんどのシステムは 1 つか 2 つの側面では強みがありましたが、すべての要件を組み合わせると苦戦しました」と同氏は言います。

チームが ClickHouse Cloud を知ったきっかけは、業界のエンジニアリングに関する議論、大規模なオブザーバビリティのユースケース、オープンソース分析コミュニティ、そしてストリーミングとテレメトリのエンジニアリングベンチマークでした。「ClickHouse は、大規模な分析ワークロードに対するアーキテクチャと性能特性の点で際立っていました」と Vaibhav 氏は振り返ります。

まず他と差がついたのはクエリ性能だったと Vaibhav 氏は言います。「ClickHouse は、大規模な集計と時系列分析で並外れた性能を示しました」と同氏は言います。チームはまた、ClickHouse の高い圧縮率と列指向ストレージモデルにも魅力を感じました。ストレージの経済性を大幅に改善できる見込みがあったからです。

リアルタイム分析について、Vaibhav 氏は「運用ダッシュボードとライブテレメトリ分析という私たちのニーズに非常によく合致していました」と述べます。加えて、このデータベースの分散アーキテクチャはライブスポーツトラフィックに対する Sony LIV のスケーリング要件に合っており、オープンなエコシステムと柔軟な統合性は、同社のエンジニアリングチームにとって大きな利点でした。

そしておそらく最も重要な点として、Vaibhav 氏は「複数の分析ワークロードを、より統合されたプラットフォームに集約できました」と付け加えます。これにより、チームは共有のデータ基盤を得て、すべてのワークロードを一か所で横断的にクエリできるようになりました。

統合されたリアルタイム分析アーキテクチャ #

ClickHouse への移行は、Sony LIV のアーキテクチャを根本から変えました。旧環境は、テレメトリ、バッチ中心のパイプライン、ストレージ、チームごとに異なるクエリエンジンといった各システムを寄せ集めた、運用の複雑なものでした。それに対して新しいスタックは「はるかにリアルタイムで、一元化されています」と Vaibhav 氏は言います。

Sony LIV の ClickHouse ベースのアーキテクチャでは、クライアント SDK、ストリーミングサービス、CDN インフラ、広告システムのすべてが、Amazon Kinesis 上に構築されたイベントストリーミングパイプラインに流れ込みます。そこから ClickPipes によるリアルタイム処理レイヤーが ClickHouse の分析クラスターに書き込みます。このクラスターが、組織全体の運用ダッシュボード、プロダクト分析、QoE システム、SRE ワークフローにとっての単一の信頼できる情報源 (single source of truth) となっています。

現在、ClickHouse は幅広い分析ユースケースを支えています。ストリーミング側では、チームは再生 QoE 分析、起動レイテンシ分析、バッファリング分析、デバイス単位のテレメトリを運用しています。CDN 性能分析によって、運用チームはコンテンツが各リージョンにどのように配信されているかを把握できます。リアルタイムの運用ダッシュボードは、発生した問題をその場で浮かび上がらせます。クリックストリームとユーザーエンゲージメントの分析はプロダクトの意思決定に役立っています。広告イベント分析はアドテクチームを支えています。そして何か問題が起きたときには、SRE チームがインシデントのトラブルシューティングに ClickHouse を使っています。 「オブザーバビリティと予測型の運用ワークフローにも、ClickHouse をより深く組み込んでいるところです」と Vaibhav 氏は付け加えます。さらに多くのユースケースが、すでに準備段階にあります。

より速い回答、より良い可視性、より低いコスト #

ClickHouse への移行以降、Sony LIV では分析クエリのレイテンシが大きく改善しました。特に大量のテレメトリデータセットで効果が顕著です。旧システムで数十秒から数分かかっていたクエリは、今では 1 秒未満から数秒以内で完了します。「これにより、ライブイベント中の運用上の即応性が劇的に向上しました」と Vaibhav 氏は言います。

クエリ性能の向上は、リアルタイムの可視性の大幅な改善にもつながっています。運用チームは今では、再生の失敗、バッファリングの急増、リージョン単位の品質低下、デバイス固有の問題、CDN の異常をリアルタイムに把握できます。「これはインシデント対応のワークフローを直接的に改善しました」と Vaibhav 氏は言います。

もう一つの大きなメリットがコストの最適化です。ClickHouse の圧縮効率、列指向ストレージモデル、最適化されたコンピュート利用によって、「分析インフラ全体の効率が大幅に向上しました……特に長期保持のテレメトリワークロードでは、以前のシステムと比べてストレージの経済性が大きく改善しました」と Vaibhav 氏は言います。

運用効率も向上しました。SRE、プロダクト、ストリーミングエンジニアリング、分析、アドテクの各チームが、今ではより統合されたデータセットとダッシュボードをもとに仕事をしています。「これにより運用の分断が減り、コラボレーションが改善しました」と Vaibhav 氏は言います。特にエンジニアリングチームについては、「分析結果を待つ時間が減り、インサイトに基づいて行動する時間が増えたため、生産性が向上しました」と付け加えます。

最後に、プラットフォームは今、本来あるべき形でライブスポーツのトラフィックを処理しています。大規模なトーナメントや同時接続の多いストリーミングイベント中の大きなトラフィック急増は、以前はスタックの負荷になっていましたが、今では余裕をもってさばけています。Vaibhav 氏は「状況をより速く把握できることは、視聴者体験の向上とプラットフォームの信頼性向上に直結します」と語ります。

Sony LIV と ClickHouse の次のステップ #

ClickHouse を中心とした再構築は、すでに Sony LIV の分析インフラを変革しました。今後のロードマップはさらに意欲的で、チームが目指す完全にインテリジェントなリアルタイムデータプラットフォームでも、ClickHouse は引き続き重要な役割を担います。

現時点でそのロードマップには、より広範な社内クリックストリーム・行動分析プラットフォームの構築が含まれています。ClickHouse を基盤として、サービス全体のユーザー行動を統合的に把握することが狙いです。チームは予測型オートスケーリングモデルにも取り組んでいます。過去のトラフィックパターンとライブのテレメトリデータを使って、大規模なスポーツイベント中の需要を、急増が起きてから対応するのではなく、事前に予測しようというものです。

ロードマップには他にも、より豊かなリアルタイムストリーミングインテリジェンスと再生品質監視による QoE 分析の深化、インフラ、アプリケーション、CDN、映像パイプラインにわたる運用オブザーバビリティのユースケースの近代化と拡大、リアルタイムの広告配信可視性と収益化分析の改善、大規模テレメトリデータセットを使った異常検知と運用インテリジェンスが並びます。

「ClickHouse は、私たちのリアルタイム分析とオブザーバビリティの近代化の道のりにおいて、基盤となるレイヤーになりました」と Vaibhav 氏は言います。「私たちの長期的なビジョンは、次世代の大規模 OTT ストリーミング運用を支えられる、高度にインテリジェントでリアルタイム、かつクラウドネイティブな分析プラットフォームを構築することです」