5万
ClickHouse に加わり、ClickHouse Labs という新しい研究チームを立ち上げ、率いることになったことをお知らせでき、大変嬉しく思います。この経緯と、私たちが計画している取り組みについて共有したいと思います。
始まりの経緯
私は 2013 年にカーネギーメロン大学のコンピューターサイエンス学部で教授としてのキャリアをスタートしました。これまで一貫して、最新のデータベース管理システム (DBMS) の内部構造に関する科学の解明に取り組んできました。業界や学術界を問わず、新たに登場するすべてのシステムを追跡し、その実装を理解することを優先事項としています。
ClickHouse DBMS については、2016 年 6 月にオープンソースソフトウェアとして最初に発表されたときから知っていました。そのニュースに対する私の最初の反応は、「あまりに話が良すぎる、どうせベイパーウェア(実体のない製品)だろう」というものでした。当時の ClickHouse は、ごく少数のクローズドソースな商用分析用 DBMS でしか見られなかった機能を備えていたからです。たとえば 2016 年の時点で、ClickHouse は C++ で書かれており、SIMD を使ったベクトル化クエリ実行をサポートしていました。2016 年当時の代表的なオープンソース分析用 DBMS の大半は JVM ベースであり、SIMD による最適化をサポートしたのはそれから何年も後のことでした。
それ以来、私は ClickHouse の開発を熱心に追ってきました。ClickHouse は常に最先端のシステムであり、私たちの学術研究プロジェクトとも強い関連性を持っていました。パンデミックによりデータベースの授業をオンラインへ移行せざるを得なくなった 2020 年の最初の遠隔講義では、私がオリジナルの ClickHouse T シャツを着ている姿すら見られます。
こうした背景があったため、ClickHouse の共同創業者たちから同社内にこの新しい研究グループを立ち上げないかと誘われたときは、非常に光栄に思いました。最強のエンジニアリングチームの一つとともに次世代のデータベース技術に取り組む機会は、決して逃すことのできないチャンスでした。これは、Killer Mike と El-P が手を組んでヒップホップのスーパーグループを結成したときのような、次元の違うコラボレーションになるはずです。
ClickHouse Labs とは何か？
ClickHouse Labs の目標は、データベースに特化した業界最高クラスの企業研究組織を確立することです。エンジニアリングチームに向けて一方的にアイデアを投げ入れるような、孤立した研究組織として運営するつもりはありません。そうではなく、ClickHouse のエンジニア、ユーザー、共同研究者、そして業界パートナーと緊密に連携しながら、ClickHouse を常に最先端に保つための新しいアイデアを開発し、発信していきます。
また、ClickHouse の PostgreSQL チームとも協力し、急成長中のマネージドサービスがパフォーマンスと信頼性の面で市場のリーダーとなるよう支援します。PostgreSQL と ClickHouse は異なるワークロード要件に対応していますが、この 2 つを組み合わせることで、トランザクションおよび分析の両面におけるデータベースの課題を研究するための幅広い基盤が得られます。
私たちの目的は明快でありながら野心的です。科学的価値のある研究を行い、その優れたアイデアをユーザーにとって重要となる技術へと変革する手助けをすることです。私は、IBM Research や Microsoft Research といった先駆的な企業研究所が残してきたような、同じレベルの影響力を達成したいと考えています。これらのグループは、企業の研究機関が基礎的なコンピューターサイエンスを前進させ、商用製品に影響を与え、何世代ものデータベース研究者を育成することを同時に実現できると証明しました。それこそが、私たちが受け継ぎたい伝統です。
次の展望
ClickHouse チームはすでに、自らの取り組みに関する深い技術的知見を発表してきた並外れた実績を持っています。2021 年の会社設立以来、同社のエンジニアは DBMS の実装を解説する詳細な記事を世に送り出してきました。また、ClickHouse のコアアーキテクチャを解説した 2024 年の VLDB 論文もあります。これらの著作は非常に徹底しているため、私はカーネギーメロン大学の学生への課題図書として指定しているほどです。同時に、ClickHouse のエンジニアリングチームが検討してきたものの、十分に検証して本番環境へ投入する時間がまだ取れていない、興味深いアイデアや最適化のバックログも存在します。私の当面の優先事項の一つは、このプロセスの加速を支援することです。そしてそれを足がかりとして、ClickHouse をさらに前進させる新しいアイデアを探求していきます。
私たちが調査していく大きな課題の一つは、ClickHouse や PostgreSQL のような DBMS が、台頭する AI やエージェント技術にどのように適合するかという点です。この問題には 2 つの側面があります。第 1 に、エージェントをより良く支援するために DBMS がどのような姿であるべきかを突き止めること。第 2 に、エージェントを活用して DBMS自体の開発をどのように改善・自動化できるかを突き止めることです。新しいハードウェア、新しいアルゴリズム、新しいデータ構造、新しい実行戦略、そして DBMS ソフトウェアの新しい構築・運用方法など、あらゆる選択肢が検討対象です。現時点ではこれらの問題に対する答えはまだ持ち合わせていませんが(だからこそ研究なのです)、確信していることが 1 つあります。それは、ClickHouse の堅牢なリレーショナルモデルの基盤が、こうしたデータ集約型のワークロードとともに進化していく上で極めて有利な位置にあるということです。
私はこれまで、データベースシステムがどのように構築されるかを研究し、それを構築する人々の育成を支援することにキャリアを費やしてきました。ClickHouse Labs により、この両方を前進させることに特化した組織を生み出す機会が、いま私たちの手元にあります。
