2025年3月ニュースレター

北半球の天気は春の訪れを迷っているようですが、3月のClickHouseニュースレターの時期であることに疑いの余地はありません。

今月は、ClickPipesのPostgres CDCコネクタがパブリックベータ版となり、AWSでのBring Your Own Cloudの一般提供開始を発表しました。Apache IcebergのClickHouseサポートの最新情報、コンタクトセンター分析用のClickHouseベースのデータウェアハウスの構築方法、Theta Sketchesによる訪問者セグメンテーションなどをご紹介します！

今月の注目のコミュニティメンバーは、LangDBの共同創業者であるMatteo Pelatiです。

LangDBを設立する前は、MatteoはGoldman Sachsでプロダクトデータエンジニアリングのグローバルヘッド、DBS Bankでデータプラットフォームテクノロジーのエグゼクティブディレクターとして上級管理職を務め、130人以上のエンジニアのチームを率いて銀行全体のデータプラットフォームを構築しました。

LangDBは、エンタープライズ対応の機能を備えた250以上のLLMへの即時アクセスを提供する、フル機能のマネージドAIゲートウェイです。ClickHouseを基盤となるデータストアとして使用し、すべてのAIゲートウェイデータ、トレース、分析が保存されます。また、ClickHouseのカスタムUDF機能を利用して、SQLクエリからの直接的なAIモデル呼び出しを可能にし、構造化データ分析とAI機能をシームレスに統合します。

Mateoは最近、シンガポールのClickHouseミートアップでLangDBについて発表し、組織がこの統合を活用して、データインフラストラクチャと分析パイプラインを完全に制御しながら、高度なAIアプリケーションを構築する方法を実演しました。

➡️ LinkedInでMateoをフォロー

今年最大のイベントであるOpen House, The ClickHouse User Conferenceが5月28〜29日にサンフランシスコで開催されるまで、あと2ヶ月強です。

技術的な詳細な解説、トップClickHouseユーザーによるユースケースのプレゼンテーション、創業者からの最新情報、そして他のClickHouseユーザーとの交流の1日をご一緒しましょう。ClickHouse初心者から経験豊富なユーザーまで、どなたにとっても役立つ情報があります。

➡️ Open Houseに登録

• v25.3 コミュニティコール - 3月20日

• 対面ClickHouseデベロッパー - シドニー - 3月24〜25日
• 対面ClickHouseデベロッパートレーニング - サンパウロ、ブラジル - 3月25〜26日
• 対面ClickHouseデベロッパー - メルボルン - 3月27〜28日
• 対面ClickHouseデベロッパーファストトラック - バンガロール - 4月1日
• BigQuery to ClickHouseワークショップ - バーチャル - 4月1日
• 対面ClickHouseデベロッパートレーニング - ウィーン、オーストリア - 4月7〜8日
• ClickHouseを可観測性に活用する - バーチャル - 4月15日
• ClickHouse Fundamentals - バーチャル - 4月22日

• ClickHouse Meetup @ Klaviyo, ボストン - 3月25日
• サンパウロでのClickHouseミートアップ - 3月25日
• ClickHouse Meetup @ Braze, ニューヨーク - 3月26日
• DCでのClickHouse立ち上げミートアップ - 3月27日
• Google Next, ラスベガス - 4月9日
• Open House User Conference, サンフランシスコ - 5月28〜29日

• チューリッヒでのClickHouseミートアップ - 3月24日
• ブダペストでのClickHouseミートアップ - 3月25日
• KubeCon 2025, ロンドン - 4月1〜4日
• オスロでのClickHouseミートアップ - 4月8日
• AWS Summit 2025, パリ - 4月9日
• AWS Summit 2025, アムステルダム - 4月16日
• AWS Summit 2025, ロンドン - 4月30日

• デリーでのClickHouseミートアップ, インド - 3月22日
• シドニーでのClickHouseミートアップ - 4月1日
• Latency Conference, オーストラリア - 4月3〜4日
• TEAMZ Web3/AI Summit, 日本 - 4月16〜17日

ClickHouse 25.2では、joinのパフォーマンスがさらに向上しています。並列ハッシュjoinシステムがさらに最適化され、100%のCPUコア利用率を確保しています。Tom Schreiberが、これがどのように達成されたかを説明しています。

このリリースでは、Parquet Bloomフィルタ、新しいバックアップデータベースエンジン、Delta Rust Kernelとの統合、リアルタイムデータ消費のための拡張されたHTTPストリーミング機能なども導入されています！

➡️ リリース記事を読む

ClickPipesのPostgres CDCコネクタがパブリックベータ版となり、数回のクリックだけでPostgreSQLデータベースからClickHouse Cloudへのシームレスなレプリケーションが可能になりました。

このコネクタは、10倍高速な初期ロードのための並列スナップショットや、ほぼリアルタイムのデータの鮮度など、高性能な機能を備えています。

SyntageやNeonなどの組織ではすでにテラバイト規模の移行が成功しています。パブリックベータ期間中、この強力な統合ツールはすべてのユーザーが無料で使用できます。

➡️ ブログ記事を読む

Tomer Ben Davidは、ClickHouseとGrafanaが、個々のユーザーセッション、コンテナID、地理的な場所など、多数の一意のディメンションにわたるデータを追跡する際の一般的な課題である高カーディナリティメトリクスを効果的に処理する方法を探求しています。

この記事では、ClickHouseの列指向ストレージ、ベクトル化されたクエリ実行、効率的な圧縮機能が、大量の粒度の細かいデータを処理するのにいかに理想的であるかを詳しく説明しています。Grafanaは、このデータを実用的なものにするための強力な可視化、テンプレート機能、アラート機能を提供します。

Tomerはまた、データ集約テクニック、次元削減、ソースでの事前集約など、高カーディナリティを管理するための実践的な戦略も提供しています。

➡️ ブログ記事を読む

Melvyn Peignonは、データレイクとレイクハウスのエコシステムにおけるClickHouseの進化する役割を探求し、データレイクからのデータロード、アドホッククエリ、レイクデータの頻繁なクエリという3つの主要な統合パターンを強調しています。

彼はまた、カタログ統合の拡張によるデータレイククエリのユーザーエクスペリエンスの向上、IcebergおよびDelta形式の書き込みサポートを含むデータレイク操作機能の改善、ClickPipesでのIceberg CDCコネクタの開発という3つの主要な分野に焦点を当てた、レイクハウス統合に関するClickHouseの2025年のロードマップの概要を示しています。

➡️ ブログ記事を読む

Xiaoyi Ge、Daniel Hoske、Florin Szilagyiは、コンタクトセンター分析を処理するための主要なデータウェアハウスソリューションとしてのCrestaのClickHouseの実装について説明するブログ記事を執筆しました。PostgreSQLからの移行後、リアルタイム集計、生イベントストレージ、可観測性のための3つの専用クラスターで、1日あたり数千万件のレコードを処理しながら、ストレージコストを50%削減しました。

このプラットフォームは現在、CrestaのDirector UIを強化し、エンタープライズ顧客は柔軟な時間範囲で数十億件のレコードをクエリしながら、リアルタイムのコンタクトセンターインサイトのために応答性の高いパフォーマンスを維持できます。

彼らはまた、クエリパターンに合わせた慎重なスキーマ設計、頻繁なクエリのためのマテリアライズドビューの活用、特定のクエリを高速化するためのClickHouseのスパースインデックスとブルームフィルターの利用など、主要な最適化戦略も共有しました。

➡️ ブログ記事を読む

AWSでのBYOC（Bring Your Own Cloud）が一般提供開始となり、企業はすべてのデータを独自のAWS VPC環境内に保持しながら、ClickHouse Cloudを実行できるようになりました。

AWSとの5年間の戦略的提携の一部であるこのデプロイメントモデルにより、組織はClickHouseのマネージドサービス機能の恩恵を受けながら、完全なデータ制御とセキュリティコンプライアンスを維持できます。

➡️ ブログ記事を読む

Lionel PalacinとSai Srirampurは、Change Data Capture（CDC）を使用してPostgreSQLからClickHouseにデータを移行するための包括的なガイドを提供しています。この記事では、ClickPipesとPeerDBがPostgresでの挿入、更新、削除の継続的な追跡をどのように可能にし、ClickHouseのReplacingMergeTreeエンジンを通じてデータの整合性を維持しながら、リアルタイム分析のためにClickHouseにそれらをレプリケートするかを説明しています。

著者は、FINALキーワード、ビュー、マテリアライズドビューを使用した重複排除アプローチを含む、パフォーマンスを最適化するためのいくつかの戦略を詳しく説明しています。また、カスタム順序付けキー、JOINの最適化、リフレッシュ可能および増分マテリアライズドビューを使用した非正規化テクニックなどの高度なトピックも探求しています。

➡️ ブログ記事を読む

• Corootは、ClickHouseネイティブおよびZooKeeperプロトコルのサポートを追加し、これらの分散システムの監視を大幅に容易にしました。
• Keshav Agrawalは、データ生成にGo、メッセージキューイングにKafka、高性能ストレージにClickHouse、可視化にApache Supersetを組み合わせたスケーラブルなリアルタイムデータパイプラインの構築方法を実演し、ストリーミングデータとバッチデータの両方を処理するための完全なソリューションを提供しています。
• GrafanaのLokiがWebログ分析に不十分であると判断した後、Scott LairdはClickHouseへの移行を記録しています。彼のガイドは、適切な認証によるClickHouseのセットアップ、CaddyのJSONログに適したスキーマの作成、ログを変換してClickHouseにストリーミングするためのデータパイプラインミドルウェアとしてのVectorの構成に関するステップバイステップの手順を提供しています。
• sateesh.pyによるチュートリアルでは、データ処理にApache Spark、S3互換ストレージにMinIO、データストレージにDelta Lake、高速分析クエリにClickHouseを組み合わせた最新のETLパイプラインを構築する方法をコード例とともに示しています。
• Hellmar Beckerは、ClickHouseのtheta sketchesを使用して、訪問者のセグメンテーションと集合演算を行う方法を実演し、異なるコンテンツセグメントにわたるユニークな訪問者を効率的にカウントすると同時に、積集合や和集合などのより複雑な演算も実行しています。

今月のお気に入りの投稿は、ClickHouseの圧縮機能を気に入っているChris Elgeeによるものです。

➡️ 投稿を読む