2024年12月20日
マーケットプレイスサブスクリプションの組織への関連付け
OpenAPI キーの有効期限の強制設定
通知用のカスタムメール
2024年12月6日
BYOC (ベータ)
ClickPipes の Postgres CDC (変更データキャプチャ) コネクタ
ダッシュボード (ベータ)
クエリ API エンドポイント (GA)
- エンドポイントのレイテンシを低減 (特にコールドスタート時)
- エンドポイントの RBAC 制御を強化
- CORS で許可するドメインを設定可能
- 結果のストリーミング
- すべての ClickHouse 互換の出力フォーマットをサポート
ネイティブ JSON サポート (ベータ)
ベクトル類似度索引を使用したベクトル検索 (早期アクセス)
ClickHouse-connect (Python) および ClickHouse Kafka Connect ユーザー
MEMORY_LIMIT_EXCEEDED 例外が発生する問題の影響を受けたお客様には、通知メールを送信しました。
次のバージョン以降にアップグレードしてください:
- Kafka-Connect: > 1.2.5
- ClickHouse-Connect (Java): > 0.8.6
ClickPipes が AWS でクロス VPC リソースアクセスをサポート
ClickPipes が AWS MSK の IAM 認証に対応しました
AWS上の新規サービスにおける最大レプリカサイズ
2024年11月22日
ClickHouse Cloud 向けの組み込み高度オブザーバビリティダッシュボード
AI による SQL オートコンプリート
新しい「billing」ロール
2024年11月8日
ClickHouse Cloudのお客様向け通知
2024年10月4日
ClickHouse Cloud、GCP 向けに HIPAA 対応サービスをベータ提供開始
us-central-1 で Dedicated サービス種別のお客様向けに提供されており、Business Associate Agreement (BAA) の締結が必要です。この機能へのアクセスを希望する場合、または今後追加される GCP、AWS、Azure の各リージョンのウェイトリストへの参加を希望する場合は、sales または support にお問い合わせください。
Compute-compute separation が GCP と Azure でプライベートプレビューとして利用可能になりました
セルフサービスのMFAリカバリーコード
ClickPipes のアップデート: カスタム証明書、レイテンシの可視化、その他
Kafka と Kinesis 向けスケーリング制御 (プライベートベータ) 高スループットなワークロードでは、データ量やレイテンシの要件を満たすために、追加のリソースが必要になることがあります。ClickPipes に水平スケーリングを導入し、Cloud Console から直接利用できるようになりました。この機能は現在プライベートベータとして提供されており、要件に応じてリソースをより効果的にスケールできます。ベータへの参加をご希望の場合は、support までご連絡ください。 Kafka と Kinesis 向け raw message インジェスト Kafka または Kinesis のメッセージ全体を、パースせずにそのまま取り込めるようになりました。ClickPipes では
_raw_message virtual column がサポートされ、メッセージ全体を 1 つの String カラムにマッピングできます。これにより、必要に応じて生データを柔軟に扱えます。
2024年8月29日
新しい Terraform プロバイダー バージョン - v1.0.0
2024年版 SOC 2 Type II レポートおよび更新版 ISO 27001 証明書
2024年8月15日
Compute-compute separation が AWS 向けにプライベートプレビューで提供開始
S3 および GCS 向け ClickPipes が GA に、Continuous mode に対応
2024年7月18日
メトリクス向け Prometheus エンドポイントが一般提供になりました
Cloud コンソールのテーブルインスペクター
DESCRIBE のように、テーブルを調べてスキーマを確認できるコマンドがあります。これらのコマンドはコンソールに出力されますが、テーブルやカラムに関する必要な情報をすべて取得するには複数のクエリを組み合わせる必要があるため、必ずしも使いやすいとは限りません。
このたび、Cloud コンソールに Table Inspector を追加しました。これにより、SQL を書かなくても、UI 上で重要なテーブル情報やカラム情報を確認できます。お使いのサービスで Table Inspector を試すには、Cloud コンソールをご利用ください。スキーマ、ストレージ、圧縮などの情報を、1 つの統合されたインターフェイスで確認できます。
新しい Java クライアント API
新しいアナライザがデフォルトで有効に
JOIN をはじめ、さらなる最適化が可能になります。これまでは、新規ユーザーは設定 allow_experimental_analyzer を使用してこの機能を有効にする必要がありました。現在、この改良されたアナライザは、新しい ClickHouse Cloud サービスでデフォルトで利用できます。
アナライザについては、今後もさらに多くの最適化を予定しています。引き続きご注目ください。
2024年6月28日
Microsoft Azure 向け ClickHouse Cloud の一般提供を開始しました
- 米国: West US 3 (Arizona)
- 米国: East US 2 (Virginia)
- ヨーロッパ: Germany West Central (Frankfurt)
クエリログのインサイト
system.query_log テーブルは、クエリ最適化、デバッグ、そしてクラスター全体の健全性やパフォーマンスの監視において重要な情報源です。ただし、注意点が 1 つあります。70 を超えるフィールドがあり、さらに 1 つのクエリにつき複数のレコードが存在するため、クエリログを読み解くには高い学習コストが伴います。このクエリインサイトの初期バージョンは、クエリのデバッグや最適化パターンをよりシンプルにするための今後の取り組みの土台となるものです。今後もこの機能を継続的に改善していくにあたり、ぜひフィードバックをお寄せください。皆さまのご意見をお待ちしています。
メトリクス向け Prometheus エンドポイント (プライベートプレビュー)
その他の機能
- バックアップの頻度、保持期間、スケジュールなどのカスタムポリシーを設定できる設定可能なバックアップが、一般提供開始となりました。
2024年6月13日
Kafka ClickPipes Connector のオフセットを設定可能に (ベータ)
- 先頭から: Kafka トピックの先頭からデータの消費を開始します。すべての履歴データを再処理する必要がある場合に最適です。
- 最新から: 最新のオフセットからデータの消費を開始します。新しいメッセージだけを対象にしたい場合に便利です。
- タイムスタンプから: 特定のタイムスタンプ時点以降に生成されたメッセージからデータの消費を開始します。この機能により、より正確な制御が可能になり、処理を特定の時点から再開できます。
サービスを Fast release channel に登録する
Terraform による水平スケーリングのサポート
2024年5月30日
Microsoft Azure 向け ClickHouse Cloud がベータ版になりました
ClickHouse Cloud コンソールからプライベートリンクを設定する
2024年5月17日
ClickPipes (ベータ) を使用してAmazon Kinesisからデータを取り込む
設定可能なバックアップ (プライベートプレビュー)
SQLクエリからAPIを作成 (ベータ)
公式ClickHouse認定資格の提供を開始しました
2024年4月25日
ClickPipes を使用して S3 と GCS からデータを読み込む
Fivetran を使用して 500 を超えるソースから ClickHouse Cloud にデータを読み込む
その他の変更
- SQL コンソールが出力フォーマットに対応
- ClickPipes Kafka コネクタがマルチブローカー構成に対応
- PowerBI コネクタで ODBC ドライバの設定オプションを指定可能に
2024年4月18日
AWS Tokyo リージョンが ClickHouse Cloud で利用可能になりました
ap-northeast-1) が利用可能になりました。ClickHouse を最速のデータベースにすることを目指し、レイテンシを可能な限り低減できるよう、各クラウドで対応リージョンを継続的に拡大しています。更新されたクラウドコンソールから、Tokyo に新しいサービスを作成できます。
その他の変更:
コンソールの変更点
- Kafka 向け ClickPipes の Avro フォーマットのサポートが一般提供になりました
- Terraform プロバイダーでのリソース (サービスおよびプライベート エンドポイント) のインポートを完全にサポート
インテグレーションの変更点
- NodeJS client の安定版メジャーリリース: クエリと ResultSet に対する高度な TypeScript サポート、URL 設定
- Kafka Connector: DLQ への書き込み時に例外が無視される不具合を修正し、Avro Enum 型のサポートを追加、MSK および Confluent Cloud でコネクタを使用するためのガイドを公開
- Grafana: UI での Nullable 型サポートに関する不具合を修正し、動的な OTel トレーシングテーブル名のサポートを修正
- DBT: カスタム materialization の model 設定を修正。
- Java クライアント: エラーコードのパースが正しく行われない不具合を修正
- Python クライアント: 数値型のパラメータバインドを修正し、クエリバインドにおける数値リストの不具合を修正し、SQLAlchemy Point のサポートを追加。
2024年4月4日
新しい ClickHouse Cloud コンソール のご紹介
2024年3月28日
一般的な更新
- Microsoft Azure のサポートをプライベートプレビューとして提供開始しました。利用を希望する場合は、アカウント管理またはサポートまでお問い合わせいただくか、ウェイトリストにご登録ください。
- Release Channels を導入しました。これにより、環境の種類に応じてアップグレードのタイミングを指定できます。このリリースでは “fast” release channel を追加し、本番環境より前に非本番環境をアップグレードできるようになりました (有効にするにはサポートにお問い合わせください) 。
管理関連の変更
- API 経由で水平スケーリングを設定できるようになりました (プライベートプレビュー。利用を有効にするにはサポートにお問い合わせください)
- 起動時にメモリ不足エラーが発生するサービスをスケールアップできるよう、オートスケーリングを改善しました
- Terraform プロバイダー経由で AWS の CMEK をサポートしました
コンソールの変更点
- Microsoft のソーシャルログインのサポートを追加
- SQL コンソールにパラメータ化クエリの共有機能を追加
- クエリエディタのパフォーマンスを大幅に改善 (一部の EU リージョンではレイテンシが 5 秒から 1.5 秒に短縮)
インテグレーションの変更点
- ClickHouse OpenTelemetry エクスポーター: ClickHouse のレプリケーションテーブルエンジンのサポートを追加し、結合テストを追加
- ClickHouse DBT アダプター: Dictionaries 用の materialization マクロと、有効期限 (TTL) 式のサポートに関するテストを追加
- ClickHouse Kafka Connect Sink: Kafka プラグイン discovery との互換性を追加 (コミュニティからの貢献)
- ClickHouse Java Client: 新しいクライアント API 向けの新しいパッケージを導入し、Cloud テスト向けのテストカバレッジを追加
- ClickHouse NodeJS Client: 新しい HTTP keep-alive の挙動に関するテストとドキュメントを拡充。v0.3.0 リリース以降で利用可能
- ClickHouse Golang Client: Map のキーとして Enum を使用した場合の不具合を修正し、エラーが発生した接続が接続プールに残る場合の不具合を修正 (コミュニティからの貢献)
- ClickHouse Python クライアント: PyArrow を介したクエリ streaming のサポートを追加 (コミュニティからの貢献)
セキュリティアップデート
- ClickHouse Cloud を更新し、“クエリキャッシュが有効な場合にロールベースのアクセス制御がバイパスされる” 問題を防止しました (CVE-2024-22412)
2024年3月14日
コンソールの変更点
- 新しい Cloud コンソールのエクスペリエンスが早期アクセスで利用可能になりました (参加にご興味がある場合は、サポートまでお問い合わせください) 。
- S3 および GCS からの一括ロード向け ClickPipes が早期アクセスで利用可能になりました (参加にご興味がある場合は、サポートまでお問い合わせください) 。
- Kafka 向け ClickPipes での Avro フォーマットのサポートが早期アクセスで利用可能になりました (参加にご興味がある場合は、サポートまでお問い合わせください) 。
ClickHouse バージョンのアップグレード
- FINAL の最適化、ベクトル化の改善、集計の高速化については、詳細は 23.12 release blog を参照してください。
- punycode の処理、文字列類似度、外れ値検出のための新しい関数に加え、merges と Keeper のメモリ最適化については、詳細は 24.1 release blog および プレゼンテーション を参照してください。
- この ClickHouse Cloud バージョンは 24.1 をベースとしており、多数の新機能、パフォーマンス改善、バグ修正が含まれています。詳細はコアデータベースの 変更履歴 を参照してください。
インテグレーションの変更点
- Grafana: v4 向けのダッシュボードの移行とアドホックフィルタリングロジックを修正
- Tableau Connector: DATENAME 関数と “real” 引数の丸め処理を修正
- Kafka Connector: 接続初期化時の NPE を修正し、JDBC ドライバーのオプションを指定できるように改善
- Golang client: レスポンス処理時のメモリ使用量を削減し、Date32 の極端な値を修正し、圧縮有効時のエラー報告を修正
- Python クライアント: datetime パラメーターにおけるタイムゾーンのサポートを改善し、Pandas DataFrame のパフォーマンスを向上
2024年2月29日
コンソールの変更点
- SQL コンソールの初期ロード時間を最適化
- ‘authentication failed’ エラーの原因となっていた SQL コンソールのレースコンディションを修正
- 監視ページで、最新のメモリ割り当て値が誤って表示されることがあった問題を修正
- SQL コンソールが KILL QUERY コマンドを重複して発行することがあった問題を修正
- ClickPipes で、Kafka ベースのデータソース向けに SCRAM-SHA-256 認証方式のサポートを追加
インテグレーションの変更点
- Kafka Connector: 複雑なネスト構造 (Array、Map) のサポートを拡張し、FixedString 型と複数のデータベースへのインジェストに対応
- Metabase: バージョン 23.8 未満の ClickHouse との非互換性を修正
- DBT: model 作成時に設定を渡せるように改善
- Node.js client: 長時間実行されるクエリ (>1時間) をサポートし、空の値も適切に処理するよう改善
2024年2月15日
ClickHouse バージョンのアップグレード
- S3 からの継続的かつ定期的なデータ読み込みに対応する S3Queue テーブルエンジン が本番環境で利用可能になりました - 詳細は 23.11 release blog を参照してください。
- FINAL の大幅なパフォーマンス改善と SIMD 命令のベクトル化の改善により、クエリが高速化されました - 詳細は 23.12 release blog を参照してください。
- この ClickHouse Cloud のバージョンは 23.12 をベースとしており、多数の新機能、パフォーマンス改善、バグ修正が含まれています。詳細は core database changelogs を参照してください。
コンソールの変更点
- Terraform プロバイダー経由で AWS プライベートリンク と GCP Private Service Connect を設定できるようになりました
- リモートファイルからのデータインポートの耐障害性を向上しました
- すべてのデータインポートに、インポートステータスの詳細を表示するフライアウトを追加しました
- S3 データインポートでアクセスキー/シークレットキー認証情報をサポートしました
インテグレーションの変更点
- Kafka Connect
- exactly once 向けの async_insert をサポート (デフォルトでは無効)
- Golang クライアント
- DateTime のバインディングを修正
- バッチ挿入のパフォーマンスを改善
- Java クライアント
- リクエスト圧縮の問題を修正
設定の変更
use_mysql_types_in_show_columnsは不要になりました。MySQL インターフェイス経由で接続すると、自動的に有効になります。async_insert_max_data_sizeのデフォルト値が10 MiBになりました
2024年2月2日
コンソールの変更点
- Azure Event Hub 向けの ClickPipes サポートを追加
- 新しいサービスは、デフォルトのアイドル移行時間を 15 分に設定して起動されます
インテグレーションの変更点
- Grafana 向け ClickHouse データソース v4 リリース
- Table、ログ、時系列、トレース向けの専用エディターを備えたクエリビルダーに全面刷新
- より複雑で動的なクエリをサポートするため、SQL ジェネレーターを全面刷新
- ログビューとトレースビューで OpenTelemetry のネイティブサポートを追加
- ログとトレースのデフォルトのテーブルとカラムを指定できるよう、設定を拡張
- カスタム HTTP ヘッダーを指定する機能を追加
- このほかにも多数の改善 - 詳細は完全な変更履歴を参照
- データベーススキーマ管理ツール
- Kafka Connector Sink
- デフォルト値を持つテーブルへのインジェストを最適化
- DateTime64 で文字列形式の日付をサポート
- Metabase
- 複数のデータベースへの接続をサポート
2024年1月18日
全般的な変更
- 新しい AWS リージョン: ロンドン (eu-west-2)
コンソールの変更点
- Redpanda、Upstash、Warpstream 向けの ClickPipes サポートを追加
- UI で ClickPipes の認証方式を設定できるようにしました
インテグレーションの変更点
- Java クライアント:
- 破壊的変更: 呼び出し時にランダムな URL ハンドルを指定する機能を削除しました。この機能は ClickHouse からも削除されています
- 非推奨: Java CLI クライアントおよび GRPC パッケージ
- バッチサイズと ClickHouse インスタンスへの負荷を軽減するため、RowBinaryWithDefaults フォーマットのサポートを追加しました (Exabeam からの要望)
- Date32 と DateTime64 の範囲境界を ClickHouse と互換性のあるものにし、Spark の Array string type との互換性およびノード選択メカニズムを改善しました
- Kafka Connector: Grafana 用の JMX 監視ダッシュボードを追加しました
- PowerBI: UI で ODBC ドライバの設定を変更できるようにしました
- JavaScript クライアント: クエリの要約情報を公開し、挿入時に特定のカラムのサブセットを指定できるようにし、Web クライアントで keep_alive を設定可能にしました
- Python クライアント: SQLAlchemy の Nothing 型のサポートを追加しました
信頼性に関する変更
- ユーザー向けの後方互換性を持たない変更: これまで、2 つの機能 (is_deleted と
OPTIMIZE CLEANUP) は、特定の条件下で ClickHouse のデータ破損を引き起こす可能性がありました。ユーザーのデータ整合性を保護しつつ機能の中核は維持するため、この機能の動作を調整しました。具体的には、MergeTree の設定clean_deleted_rowsは現在非推奨で、すでに効果はありません。CLEANUPキーワードはデフォルトでは使用できません (使用するにはallow_experimental_replacing_merge_with_cleanupを有効にする必要があります) 。CLEANUPを使用する場合は、必ずFINALと組み合わせて使用し、さらにOPTIMIZE FINAL CLEANUPの実行後に古いバージョンの行が挿入されないことを保証する必要があります。