4.9万
まとめ
- Juaは、ClickHouse Cloudを活用して世界初の物理基盤モデルを支え、エネルギートレーダーや送電網オペレーターに対し、他のどのプラットフォームよりも高速に物理シミュレーションデータを提供しています。
- ClickHouse Cloudの導入により、予測データの配信時間は1時間から20分へと短縮され、コンピュートコストは3分の1削減、履歴データのクエリ時間は数時間から数秒にまで短縮されました。
- Juaは、運用のシンプルさ、コスト効率、そしてペタバイト規模でのポイントクエリと大規模な地域単位の集計の両方に対応できる能力を評価し、ClickHouse Cloudを選択しました。
Jua は、宇宙全体をシミュレートするという野心的なビジョンを掲げる、チューリッヒ拠点の物理AI企業です。同社のアーキテクチャは、観測データのみからあらゆるシステムを支配する物理法則を学習するワールドモデルと、そのワールドモデルの内部で訓練を行い、顧客が定義する目的に向けて最適化を進める継続学習エージェントを組み合わせたものです。
同社は、おそらく最も難しい試練の場である大気からスタートしました。大気の予測には、流体力学、熱力学、放射伝達、大気化学など、複数の物理学分野を同時に学習する必要があります。
Juaの物理基盤モデルである EPT-2 は、まさにそれを実現しています。大気予測において世界最先端の性能を保持しており、独立系ベンチマークでGoogle DeepMind、Microsoft、Nvidiaを上回っています。統計的なパターンではなく実際の物理法則を学習しているため、翼型シミュレーションや風洞シナリオといった他の流体力学問題にも、最小限のファインチューニングで転用できます。
エネルギートレーダー向けの気象予測は、このアーキテクチャの最初の商用応用です。再生可能エネルギーが電力網に変動性をもたらす中で、正確な予測の重要性はかつてないほど高まっています。「予想していなかった場所に突然雲が現れると、太陽光発電が一時的に低下し、電力網に大きな負荷がかかります」と、エンジニアリング責任者のMark Freyは言います。「より正確な予測があれば、より安定した電力網を保証できるのです。」
しかし、世界初の汎用物理シミュレーションエンジンを構築することは、課題の半分に過ぎません。そのデータを誰よりも早く顧客の手に届けるには、まったく別種のインフラが必要です。そこで登場するのがClickHouseです。
私たちはMarkに話を聞き、プラットフォームを支えるデータの課題、ClickHouse Cloud を選んだ理由、そしてスピードがどのようにJuaの競争優位の中核となったのかを伺いました。
10 PBが1 PBになるとき - 圧縮の物語
「1日あたり非常に多くのデータを生成しています」とMarkは言います。予測実行ごとに、複数のモデル(EPT-2、オープンソースモデル、欧州の気象機関による古典的な数値モデル)からデータを取り込み、モデルあたり数百ギガバイトに及びます。1日に複数回の予測実行があるため、毎日約4テラバイトの新規データが取り込まれ、圧縮後で約1ペタバイト、非圧縮では10~12ペタバイトを超えるデータセットとなります。
長年にわたり、業界ではこのようなデータを従来の方法で扱ってきました。すなわち、ファイルベースのストレージを使用し、大気データを大きな配列として保存してディスクにダンプするというものです。基本的なレベルでは機能しますが、予測を生成してからアクセス可能にするまでの間にボトルネックが生まれます。Juaにとって、ファイルからデータを顧客に届けることは、プリフェッチの管理、APIサーバーへのキャッシュ、そしてデータが準備できた際の顧客への手動通知を意味していました。
「これによってデータを顧客がクエリできるようにするまでに、多くのオーバーヘッドと複雑さが加わることが分かりました」とMarkは語ります。「20分で生成できる予測でも、人々がアクセスするのに1時間かかっては、速さのメリットはあまりありません。」
Juaの市場では、それが極めて重要な意味を持ちます。すべてのトレーダーやグリッド運用者は気象予測をもとに業務を行っています。優位に立つのは、最も正確なデータを、最も頻繁に更新し、最も早く提供できる者です。「時間が本当に重要なのです」とMarkは言います。「他社より早くデータを手にできれば、それが優位性となります。」
ClickHouse Cloudの選定
以前のセットアップでは、JuaはZarrファイルを多用し、さまざまなバックエンドで異なるアーキテクチャやプリフェッチのアプローチを試していました。しかしMarkが言うように、「小規模チームにとって、これはメンテナンスが大変すぎることがすぐに明らかになりました。」
彼らはTileDBを含む他の選択肢も検討しましたが、最終的にはClickHouseに落ち着きました。決め手のひとつは、ClickHouseのブログで読んだ ユーザーストーリー でした。中でも Teslaがどのようにしてクアドリリオン規模のオブザーバビリティプラットフォームを構築したか が印象的だったといいます。「私たちも旧ストレージバックエンドでペタバイト規模を超えたばかりだったので、あれは大きなプラスでした」とMarkは語ります。
最初のテストはシンプルなものでした。オープンソース版をローカルに立ち上げ、実データに対して実行してみたのです。「ClickHouseの本当に良かった点は、単純に試せたことです」とMarkは言います。ワークロードもきちんと処理できました。それで前に進む決心がついたのです。
デプロイに際して、Juaはセルフホスティングと ClickHouse Cloud を比較検討しました。エンジニア10名のチームにとって、セルフホスティングの運用負担は現実的でも魅力的でもありませんでした。「ClickHouseクラスターを稼働させ続けることだけに専念する専任チームを持つリソースはありません」とMarkは述べます。
ClickHouse Cloudの ストレージとコンピュートの分離 も決め手となりました。「すべてのデータを複製する必要があれば、ストレージコストは大幅に増加し、セットアップもはるかに複雑になります」とMarkは言います。「それがまた、メンテナンスのオーバーヘッド増加につながるでしょう。」
最終的には、コストと運用のシンプルさがClickHouse Cloud選択の決め手となりました。Markが語るように、「ClickHouse Cloudは、特に自社で開発コストがかからないことを考えると、実はそれほど高価ではないとすぐに分かりました。導入までの時間が短かったのも大きなプラスで、メンテナンスの手間も最小限です。」
より速い予測、より低いコスト
効果はすぐに現れました。ファイルベースのパイプラインをClickHouseに置き換えることで、Juaはデータ提供を遅らせていた手作業のオーバーヘッドの大部分を排除しました。「以前は、予測を開始してからデータが利用可能になるまで約1時間かかっていました」とMarkは言います。「今はリアルタイムなので、アップロードのオーバーヘッドは約20秒です。旗艦モデルであるEPT-2の場合、提供時間を1時間から20分に短縮しました。」
このスピード向上は、インフラコストにも波及効果をもたらしました。アップロードが速くなったことで、出力計算を実行するGPUインスタンスをより早く解放できるようになったのです。「以前より約3分の1速くなりました」とMarkは言います。「これがおよそ3分の1のコスト削減につながっています。」
履歴クエリに関しては、改善はさらに劇的でした。ClickHouse導入以前、ユーザーが単一の地点について2年分のデータを要求すると、何百ものファイルを手作業で調べる必要があり、数時間かかることもありました。「今、ClickHouseでは、それが数秒の話です」とMarkは言います。「顧客はオンデマンドで実行できるので、私たちが手作業を行う必要はありません。」
Markはまた、ClickHouseがJuaに必要なあらゆる種類のクエリをうまく処理できることにも驚いたそうです。物理シミュレーションデータは、特定の地点の検索と大規模な地域集計という、非常に異なる2種類のクエリで問い合わされる傾向があると彼は説明します。ファイルベースのシステムは通常どちらか一方に有利ですが、ClickHouseは両方に対応します。「キャッシングをすべて処理してくれます」と彼は言います。「そして『チューリッヒの予測は?』のようなポイントクエリも、『ドイツの全データをください』のような広範なリクエストも両方可能です。さらに、私たちにとって非常に役立つのは、『来週のオーストリアでの最大風速は?』のような分析もできることです。」
JuaとClickHouseの次なる展開
JuaのClickHouseの旅は始まったばかりです。チームは、より多くのモデル、機能、そして履歴データを追加していく計画で、これによりJuaの物理シミュレーション機能を保険や農業などの新たな領域と分野に拡張していきます。ClickHouseは現在、1990年までさかのぼる実際の気象観測データを保持しており、「ドイツで最も晴天の多い地域トップ10は?」といった、以前は現実的でなかったクエリが可能になっています。
Markはまた、ClickStack や最近の Langfuseの買収 を含む、ClickHouseのオブザーバビリティ関連の提供にも注目しています。プラットフォームが成長するにつれ、スタックのパフォーマンスに対するより深い可視性を持つことがますます重要になります。「その分野でのClickHouseの提供内容は素晴らしいので、これらの機能も検討していくことになるでしょう」と彼は言います。
競争優位を築くという点では、証拠はすでに揃っています。Juaと他プロバイダーとの差は、モデルの精度を超え、必要としている人々にデータがどれだけ速く届くかにあります。「他プロバイダーとやり取りしなければならないとき、これを自分たちでも実感します」とMarkは語ります。「私たちのAPIは本当に、はるかに高速です。それはバックエンドがあってこそのことです。」
