2024年11月のニュースレター

リアルタイムデータウェアハウス領域でこの1ヶ月に起きた出来事をまとめた、2024年11月のClickHouseニュースレターへようこそ。

今回の大きなニュースは、Refreshable Materialized Viewsが本番運用可能になったことと、公式のDockerイメージが公開されたことです。

さらに、Alexey Milovidovが「Data Talks on the Rocks」にゲスト出演したり、Dictionaryを活用してクエリを簡素化する方法を紹介したり、新しいJSONデータ型について掘り下げたりと盛りだくさんな内容になっています。

今月の内容 #

AWS re:Invent でお会いしましょう #

re:Inventに参加される方はいらっしゃいますか？私たちも参加するので、ぜひお会いしましょう！

事前に [email protected] へメールしてミーティングの予約をするか、当日ブース(#1737)にお立ち寄りください：

私たちの3人の創設者（Aaron、Alexey、Yury）と直接会える機会
ライブデモ
限定グッズ
そしてClickHouseのエキスパートとのおしゃべり

さらに、The Chainsmokersと一緒にClickHouse House Partyも開催します。見逃せない最高の夜になること間違いなしです！

The Chainsmokersのパーティーに登録する

今月の注目コミュニティメンバー #

今月の注目コミュニティメンバーは、Weights & Biasesの共同創業者兼CEOであるLukas Biewaldさんです。

Lukasさんは機械学習の分野で20年の経験を持ち、以前はChris Van Pelt氏とFigure Eightを共同創業し、機械学習アプリケーション向けのデータラベリングを専門としていました。同社は2019年3月にAppenによって買収されています。

2018年には、機械学習の実験追跡やデータセット管理、モデル開発でのコラボレーションを支援するMLOpsプラットフォーム、Weights & Biasesを共同創業しました。

Lukasさんは9月に開催されたClickHouse San Franciscoミートアップで講演を行い、AIアプリケーション開発の経験や、Weights & BiasesのWeaveアプリケーションにおけるClickHouse活用方法を紹介してくれました。その内容は最近公開されたブログ記事にもまとめられています。

LukasさんのLinkedInをフォローする

今後のイベント #

グローバルイベント

リリースコール 24.11 - 11月28日

無料トレーニング

PostgresからClickHouseへの移行ワークショップ - オンライン - 11月27日
ClickHouse Fundamentals - オンライン - 12月4日
スウェーデン開催：対面ClickHouseトレーニング - スウェーデン - 12月9日
デンマーク開催：対面ClickHouseトレーニング - デンマーク - 12月9日
ニューヨーク開催：ClickHouse Developer対面トレーニング - マンハッタン, NY - 12月11-12日
ClickHouse Developerトレーニング - オンライン - 12月18-19日

AMERでのイベント

Microsoft Ignite - シカゴ - 11月19-22日
AWS re:Invent 2024 - ラスベガス - 12月2-6日
ニューヨークでのミートアップ - 12月9日
サンフランシスコでのミートアップ - 12月12日

EMEAでのイベント

バージョン24.10リリース #

Refreshable Materialized Viewsがついに本番運用できるようになりました！これがバージョン24.10の目玉機能ですが、CLONE AS句でテーブルのクローンをより簡単に作成できるようになったことや、S3バケットをクエリするときに便利なリモートファイルキャッシュなども追加されています。

リリース記事を読む

Data Talks on the Rocks に登場したAlexey Milovidov #

Data Talks on the Rocksは、データやアナリティクス領域の最新トレンドを語り合うリーダーや創業者へのインタビューシリーズで、Rill DataのCEO兼共同創業者であるMichael Driscoll氏がホストしています。

第4回のゲストとして、ClickHouseのCTO兼共同創業者であるAlexey Milovidovが招かれました。ハッシュ関数がデータベース設計で重要な理由や、AIが将来データベース技術に与える可能性のある影響、ClickHouseの新しいアナライザの開発など、幅広い話題が展開されています。

インタビューを視聴する

ClickHouseの辞書機能でクエリを簡素化 #

Aggregations.ioの創設者であるJeffrey Needlesさんが、辞書を使ってクエリを簡素化する方法を解説するブログ記事を公開しました。

辞書を使うメリットやデータの取得元、キーの型をどれにするかといった基本的な内容から、辞書を使った際のクエリのパフォーマンス向上まで、わかりやすく紹介しています。

ブログを読む

Alpha VantageとClickHouseで構築する金融データパイプライン #

Craig Dicksonさんが、高速データパイプラインの構築例として、データ取得にはAlpha Vantageを、データの保存と分析にはClickHouseを使用する方法を紹介しています。

Alpha Vantage APIから取得したデータをPandasで整形し、ClickHouse Cloudに取り込むフローを説明してから、Vega-Altairを使ったデータ可視化の作成例も示してくれています。

ブログを読む

新しい強力なJSONデータ型をClickHouseに実装した方法 #

新しいJSONデータ型は2024年8月リリースのバージョン24.8で導入されました。リリース記事でいくつかサンプルをお見せしましたが、深く掘り下げる機会がなかったので、今回はTom SchreiberとPavel Kruglovが、その仕組みを詳しく解説してくれます。

同じJSONパス内に複数の型が混在する場合の対処方法、クエリ時の作業負荷を回避するテクニック、ディスク上の列データファイルが膨大に増えてしまう事態を防ぐ仕組みなど、新しいデータ型のメリットがよくわかります。

図解も多いので、ClickHouseファンなら必見です！

ブログを読む

ClickHouse Cloudライブアップデート：2024年11月版 #

今回のClickHouse Cloudライブアップデートでは、Krithika Balagurunathan氏とZach Naimon氏がBring Your Own CloudとCompute-compute分離について解説してくれました。

機能概要と簡単なデモの後、詳細なQ&Aが行われ、「BYOCはFedRAMP要件を満たすのか？」「リソース消費量に基づいて水平方向のオートスケーリングを自動化できるか？」「既存のクラスタをどうやってBYOCに移行する？」「読み書き用ノードと読み取り専用ノードでインスタンスタイプを変えられるのか？」といった質問が飛び出しました。

詳しく知りたい方は以下の録画をご覧ください！

録画を視聴する

ちょっとした読み物 #

「短い読み物」というわけではないですが、ClickHouseに公式Dockerイメージが登場しました！
Carl Lindesvärdさんが、ClickHouseを半年間使って学んだことをTwitterスレッドで紹介しています。
Ravindra ElicherlaさんはWebsocketのティックデータをClickHouseに保存する方法を解説しています。
TrenchというApache KafkaとClickHouseを使ったイベントトラッキングシステムを見つけました。Frigadeのリアルタイムイベント追跡パイプラインを支え、大量のイベント処理やリアルタイム分析を可能にしています。
MetricFireチームがTelegrafとMetricFireを使ってClickHouseをモニタリングする方法を解説しています。
既存のクラスタに負荷をかけずに、非シャーディングのClickHouseクラスタからシャーディング構成へデータを移行する手順を、Triple WhaleのソフトウェアエンジニアであるJesse Grodmanさんが共有しています。