iSAM FundsがClickHouse Cloudで10,000倍のデータ課題に対応するオプションリサーチプラットフォームを構築した方法

iSAM Funds は、システマティック投資を専門とする英国拠点のオルタナティブ資産運用会社です。同社は徹底したデータ主導の姿勢を貫いています。iSAM で Head of Options Development を務める Steve Barham 氏は、「データは当社のアーキテクチャにおいて極めて重要な要素です」と語ります。「テクノロジー要件は、観測できるデータ、それを保存する方法、そこから抽出できる情報に基づいて決まります」

iSAM のオプションデスクは約 3 年前に創設され、全資産クラスにわたるオプション機能を社内にもたらすという幅広い使命を担っていました。

Barham 氏が説明するように、上場原資産(先物や上場株式など)の市場データを取得することは、すでに確立された手法が存在する領域です。それらの市場では頻繁にティックが発生し、そのフローを処理することは大半の企業にとって日常的な業務です。「課題が生じるのは、そのデータの上でオプション市場を捉えようとし始めたときです」と同氏は言います。「原資産が動いた際、それに反応して関連するオプションがいくつ動くでしょうか？」

彼が設計時に見積もったそのファンアウトは約 10,000 シンボルに達します。「データエンジニアリングの観点から見ると、まったく異なる領域に足を踏み入れることになります」と同氏は話します。下流にあるすべての処理が、データの配信、保存、そしてクエリによる再取得に至るまで、その乗数を受け継ぐことになります。

Barham 氏に、チームが解決しようとしている技術的課題と、AWS 上の ClickHouse Cloud がはるかに多くのデータを処理し、データ周辺の複雑さを軽減し、研究者のアイデアから仮説検証までの期間を短縮するのにどう役立っているかについて話を伺いました。

課題を解決する前に規模を把握する #

Barham 氏によると、最初のステップは課題の規模を測ることでした。それはリファレンスデータから始まります。特定の原資産に対してどのオプションが存在するのか、また特定の市場において原資産のセットがどう構成されているかを確定させます。これにより、処理する必要のあるデータ量が明らかになります。同氏が語る目標は、可能な限り多くの市場について整合性のあるスナップショットを構築し、その市場データから派生データパイプラインや取引システムを構築することです。

スケーリングにおける重要な検討事項は、取引所のプロダクト間における市場データアクティビティの分布であり、これが均一であることはほぼありません。「CME Group は数百もの先物市場を上場させており、その多くに関連するオプション市場が存在します」と Barham 氏は言います。「しかし、市場の取引高が少なければ、データに関する大きな課題にはなりません」。一方で、米国債や S&P 先物のように、多数の銘柄が上場され、膨大な流動性が動いている市場もあります。同氏は、アクティビティが市場ごとに偏って分布していると説明しています。そのため、単純な水平パーティショニングやシャーディングの効果は薄くなります。市場ごとにデータ量が大きく異なり、安易なパーティショニングで負荷を安定して分散させるには市場の数が少なすぎるためです。

Barham 氏とチームにとって、オプションデータプラットフォームの構築は、最終的に 2 つの核心的な課題に帰着しました。「扱うデータ量を分析することが第一段階であり、次にその量を配信、保存、クエリできるという確信を得ることが次のステップです」と同氏は語ります。「そこで ClickHouse の出番となりました」

Postgres から ClickHouse へ #

何か新しいものを構築する際、Barham 氏はイノベーショントークンの観点から意思決定を考えます。「イノベーショントークンをどこに費やすべきでしょうか？」と同氏は問いかけます。「ビジネスドメインでしょうか？ テクノロジードメインでしょうか？ それとも両者の組み合わせでしょうか？」

テクノロジーに関して、Barham 氏のチームは「堅実で使い慣れた」手法を選び、Postgres でプロトタイプを作成しました。これによりイテレーションをある程度進めることができ、実験を実施して課題の規模を測ることができました。しかし、取得したいデータの幅と深さの両面でチームの目標が拡大するにつれ、「データの永続化方法を根本的に変更する必要があることがすぐに明らかになりました」と同氏は言います。

iSAM 内の他のチームでも、さまざまなレベルで ClickHouse を活用しており、そこから得られた報告は、Barham 氏が試用へ時間を投じるのに十分なほど有望なものでした。同氏は、この技術の実力を確かめるため、同じハードウェア上でデスクのデータ向けに並行した永続化パスを構築しました。

その結果は素晴らしいものでした。特別なチューニングを行わずに時系列順でデータを保存しただけで、チームの Postgres 環境と比べて 35 〜 50 倍の圧縮率を達成しました。シングルコアでの取り込み速度は、毎秒 8,000 行から毎秒 80 万行へと向上しました。

同様に価値があったのは、取り込みとデータ出力における ClickHouse の柔軟性でした。iSAM のオプションデスクは、社内データインフラの大部分を Apache Arrow 上に構築しています。「ClickHouse とは Arrow で直接やり取りできます」と Barham 氏は言います。「Arrow でエンコードされたフレームを送信して挿入でき、確実に届くという安心感があります。データを取り出す際も同様に行えます」。Arrow、Parquet、JSON のいずれであっても、データが境界を越えるたびにエンコーディング間で絶えずデータを再編する必要はありません。「通信上でデータがどうあるべきかについて制約を課さないこと、これは非常に大きな利点です」と同氏は語ります。

イノベーションに集中するために ClickHouse Cloud を選択 #

デスクは数週間で ClickHouse を本番運用し始めました。「開発において、市場投入までのスピードは極めて重要です。私はイテレーションを迅速に進めたいと考えています。変更の結果をできるだけ早く関係者に見せることで、適切なプロダクトを迅速に見極め、改善を重ねられるようにしたいのです」と Barham 氏は言います。

1 〜 2 か月のうちに、議論は ClickHouse が機能するかどうかから、チームが自ら運用すべきかどうかへと移りました。「これが当社のデータインフラの中核になることは明白でした」と Barham 氏は振り返ります。

「フェイルオーバーの仕組みや、主要なデータストアの 1 つとして運用する際に必要となるあらゆる事項を含め、オンプレミスで ClickHouse を運用する方法を学ぶことにイノベーションの予算を使いたくありませんでした。確信を持って前進できる、すぐに使えるターンキーソリューションを求めていたのです。ClickHouse Cloud はまさにそれを提供してくれました」 — Steve Barham 氏、iSAM、Head of Options Development

ClickHouse のマネージドサービスは、システマティックファンドとしての iSAM の要件も満たす必要がありました。iSAM は自社で大規模な AWS 環境を運用しており、ClickHouse サービスへのネットワークアクセスを適切に制限し、同社の既存の AWS 直接接続経由でアクセスしています。このデプロイは、プラットフォームの主要要件である iSAM のエンタープライズ認証スタックと統合されています。

役立っている比較的新しい機能の 1 つが、iSAM 自身のバケットへのバックアップ出力です。チームはこれを利用して、本番データの一部をオンプレミスの ClickHouse インスタンスに取り込み、本番の負荷から切り離された環境で開発者の生産性向上に役立てています。

シンプルさを維持できる十分な速さ #

Barham 氏にとって、ClickHouse の最大の利点の 1 つは、そのパフォーマンスによって複雑さを削減できる点です。ロールアップ、マテリアライズドビュー、ダウンサンプリングされた事前集計データなど、「列指向ストレージとベクトル化実行を備えた ClickHouse が十分に高速であるため、こうした処理の多くをやめました」と同氏は言います。「1 年分のバーデータを含むチャートをページに配置したい場合でも、そのクエリを実行するだけで問題ありません」

これは、すべての面でシンプルさを追求しているという意味ではありません。「システムに高度に複雑な領域があることには満足しています」と Barham 氏は話します。「それは避けられないことです。それがなければ、競争力のあるビジネスにはなり得ません」。同氏が望んでいないのは、Web フロントエンドや、事前集計のみを目的とするパイプラインに複雑さが蓄積することです。「複雑さは適切な場所に置くべきです」

Barham 氏が表現するように、高速なデータベースがチームにもたらす価値はそこにあります。「ClickHouse のように高性能なシステムがあれば、どんなクエリを投げても期待どおりに動作します」

ビジネスの観点から見ると、そのスピードはアイデアをいかに迅速に検証できるかに表れます。iSAM の研究者は ClickHouse に直接クエリを実行することはありませんが(アクセスはデスク独自のシステムを介して行われます)、そのパフォーマンスにより、全銘柄および全履歴にわたって新しいアイデアを迅速に検証できます。「私の目標は、データ探索をより高速かつ一貫性のあるものにし、研究者がアイデアを思いついてから市場投入するまでの期間を短縮することです」と Barham 氏は語ります。

「市場投入までのスピードは、特に AI の時代において最も重要なメトリクスとなっています。仮説をどれだけ早く検証できるか？ それがうまく機能するかどうかをどれだけ早く確認できるか？ ClickHouse はその点で本当に大きな助けになっています」 — Steve Barham 氏、iSAM、Head of Options Development

さらなる成長のための余裕 #

ClickHouse Cloud がデスクにもたらすもう 1 つのメリットは余力(ヘッドルーム)です。Barham 氏の考えでは、並列でのデータセット構築により多くのコンピュートを投入しても、制約が解消されるわけではなく、ステートストアへと移動するにすぎません。データストアも他のすべてに合わせてスケールする必要があります。

大規模な再構築が控えており、ClickHouse に何時間も高負荷をかけることがわかっている場合、チームはインスタンスをスケールアップしてバックフィルを実行し、その後スケールダウンさせます。たまにしか発生しないピークのためにオンプレミスのマシンを用意するようなことはしません。Barham 氏はこれを「非常に高価なハードウェアを極めて費用対効果高くレンタルする方法」と呼んでいます。

デスクの拡大が続くにつれて、その余力はますます重要になっています。チームは 3 年間で先物から為替、株式オプションへと領域を広げ、ステップごとに基盤となるデータを倍増させてきました。Barham 氏によると、チームが次に注力するのは、全履歴にわたる大規模データセットの再構築をより高速に行うことです。

パフォーマンスとスケーラビリティに加え、Barham 氏は ClickHouse チームから得られたサポートを高く評価しています。これには、移行の初期段階から運用されている共有 Slack チャンネルも含まれます。「真に技術的な知見を持つ人々と対話できるため、多くの手厚いサポートやトリアージの時間を大幅に短縮できます」と同氏は言います。

突き詰めると、Barham 氏のデスクの目的は、ボラティリティの世界から情報を引き出し、それに基づいて戦略を構築することです。それは、従来のトレーディングデスクよりもはるかに多くのデータを保持し、可能な限り迅速に答えを得ることを意味します。ClickHouse Cloud により、全履歴をオンラインでクエリ可能な状態に維持し、問いとその回答の間に介在するパイプラインを減らし、新しい市場が加わってデータが倍増してもプラットフォームをスケールさせることができています。