2024年最後となる12月のClickHouseニュースレターへようこそ!今月はクエリ最適化ガイド、SQLベースのオブザーバビリティの実例、Amazonのre:Inventカンファレンスにあわせた新製品アナウンス、Postgres CDCコネクタ(ClickPipes向け)のプライベートプレビュー開始など、多彩なトピックをお届けします。
今回の内容
- 今後のイベント
- 注目のコミュニティメンバー
- 24.11リリース
- ClickHouseクエリ最適化のシンプルガイド:パート1
- ClickHouseとGrafanaで実現するSQLベースのオブザーバビリティ構築
- Postgres CDCコネクタがClickPipesでプライベートプレビューに
- ClickHouse Decoded: 超高速データの仕組みを徹底解説
- AWS re:Invent 2024でのClickHouse
- ビデオコーナー
- クイックリード
- ClickHouseユーザーカンファレンス
- 今月の投稿
今後のイベント
グローバルイベント
- Release call 24.12 - 12月19日
- Release call 25.1 - 1月30日
無料トレーニング
- ClickHouse Fundamentals - バーチャル - 1月8日・1月15日
- ClickHouse Query Optimization Workshop - バーチャル - 1月22日
- Using ClickHouse for Observability - バーチャル - 1月29日
EMEAでのイベント
- Meetup in London - 2月5日
- Meetup in Dubai - 2月10日
APACでのイベント
- Alibaba Developer Summit Jakarta - 1月21日
- Meetup in Tokyo - 1月23日
注目のコミュニティメンバー
今月の注目コミュニティメンバーは、SemrushのリードエンジニアであるAzat Khuzhinさんです。
AzatさんはSemrushで13年以上の経験を持ち、ClickHouseやその他のデータベース管理システムの運用、大規模な分散システムやデータ処理に精通しています。
彼はClickHouseへ定期的に貢献しており、今年だけで60以上のPull Requestを提出。パフォーマンス向上、システム安定性の強化、さまざまなコンポーネントの機能拡張に取り組んでいます。分散クエリ処理やレプリケーションの改善から、セキュリティ、コンフィグ管理、ユーザーエクスペリエンスの向上など、多岐にわたる分野で活動しています。
24.11リリース
24.11リリースの目玉は、並列ハッシュ結合がデフォルトの結合戦略になったことです。他にも、マークキャッシュの事前ウォーム機能、ベクトル検索向けBFloat16データ型、WITH FILLで使えるSTALENESS修飾子などが追加されています。
24.11コミュニティコールでは、HyperDX(ClickHouseを使ったオープンソースのオブザーバビリティプラットフォーム)のデモも行われ、盛り上がりました。
ClickHouseクエリ最適化のシンプルガイド:パート1
最近ClickHouseのプロダクトマーケティングエンジニアリングチームに加わったLionel Palacin(Lio)が、新しいClickHouse Playgroundでのサンプルクエリのパフォーマンスを向上させたいと思ったのがきっかけで、学んだことを二回シリーズのブログにまとめています。
パート1では、クエリが実行される仕組み、遅いクエリを特定する方法、EXPLAIN句を使ってクエリ実行時の動作を理解する手順などを解説しています。その上で、さまざまな最適化を試し、その結果をどのように確認するかを紹介しています。
ClickHouseとGrafanaで実現するSQLベースのオブザーバビリティ構築
Timofey Chuchkanov(EVALAR JSCのDevOpsエンジニア)が、ClickHouseとGrafanaを使ったオブザーバビリティスタック構築について詳しくブログで紹介しています。
理想のスタックとして挙げた条件(SQLでクエリできること、ログやメトリクスを同じ仕組みで扱えること、各種ソフトウェアとの連携など)を元にElasticserach、Loki、Timescaleなどを比較した結果、ClickHouseを使うことに決めたそうです。
こうした実際の事例を見ると、SQLベースのオブザーバビリティが進化しているのを実感できておもしろいですね。
Postgres CDCコネクタがClickPipesでプライベートプレビューに
先日、ClickPipesでPostgresのChange Data Capture(CDC)コネクタのプライベートプレビューを開始しました。
このコネクタを使えば、Postgresデータベースを数クリックでClickHouse Cloudにレプリケートし、高速な分析を実現できます。連続レプリケーションや一回限りの移行にも使えます。
ClickHouse Decoded: 超高速データの仕組みを徹底解説
Shubham Bhardwajが、ClickHouseの仕組みを詳細に解説しています。まずディスク上のデータ配置とその構成要素を説明し、その後マテリアライズドビューやテーブルエンジンといった機能、最後にClickHouseをスケールさせる方法についても触れています。
AWS re:Invent 2024でのClickHouse
12月初旬にラスベガスで行われたAWS re-Inventカンファレンスに、ClickHouseのメンバーが集結しました。同時にいくつかの新製品アナウンスも行われました。
主な発表としては、独自のクラウド環境を利用可能にするBring Your Own Cloud、ダッシュボード機能、ネイティブJSONサポートのベータ版提供、Postgres CDCコネクタのプライベートプレビュー、ベクター類似検索インデックスのアーリーアクセスなどがあります。
ビデオコーナー
- ClickHouseにはPIVOT演算子がありませんが、集計関数のコンビネータを使って同等の機能を実現できます。Markが最新のビデオ「Can you PIVOT in ClickHouse?」でそのやり方を紹介しています。
- Tony BurkeはSolarWindsのプラットフォームエンジニアリングチームで働き、1秒あたり300万件のメッセージをClickHouseに取り込んでいます。TonyがClickHouseのパフォーマンスをどう向上させたかを解説していて、リアルタイムのテレメトリデータ管理やクエリ最適化のヒントが得られます。
- Refreshable materialized viewsがプロダクション対応になったので、Markが改めて概要やユースケースを紹介するビデオを公開しました。
クイックリード
- Pythonのitertools風のGROUP BYをClickHouse SQLで実現しようとしたNiels Reijersさんのブログは、AIを使って試行錯誤し、最終的に上手く動かすまでの過程が面白いです。
- Bytewaxの新しいコネクタモジュールであるClickHouse SinkについてZander Mathesonさんが紹介しています。BytewaxからClickHouseへのデータ書き込みをシームレスに実現できます。
- Wolfram KriesingはDjangoからClickHouseの集計関数を呼び出す方法をまとめています。
- Matt Blewittは2025年に注目しておきたい7つのデータベースを挙げています。その中で「もし2つだけDBを使うとしたら、OLTP用にPostgres、OLAP用にClickHouseがあれば十分」とのコメントが。納得です。
ClickHouseユーザーカンファレンス
2025年に参加するカンファレンスを検討中なら、5月28日・29日にサンフランシスコで開催予定のOpen House(ClickHouseユーザーカンファレンス)をおすすめします。
28日は無料トレーニング、29日はセッションを予定しています。チケットはまだ入手できませんが、以下から登録すれば最新情報をお届けします。
今月の投稿
今月の注目投稿は、Gulzar Ahmedさんのポストです。インド国内のローカルビジネス向けオンラインデリバリーソフト「Hyperzod」をClickHouseで支援しているそうです。