主な機能
- Pandas 互換性: 209 の pandas DataFrame メソッド、56 の
.strメソッド、42 以上の.dtメソッド - SQL 最適化: 操作は自動的に最適化された SQL クエリへコンパイルされます
- 遅延評価: 結果が必要になるまで操作の実行を遅らせます
- 630+ API メソッド: データ操作のための包括的な API
- ClickHouse 拡張機能: pandas にはない追加のアクセサ (
.arr、.json、.url、.ip、.geo)
アーキテクチャ
- 遅延操作チェーン: 操作は記録されますが、すぐには実行されません
- スマートなエンジン選択: QueryPlanner が各セグメントを最適なエンジンに振り分けます (SQL は chDB、複雑な操作は Pandas)
- 中間結果のキャッシュ: 反復的な探索を高速化するため、各ステップの結果がキャッシュされます
Pandas からのワンライナーでの移行
パフォーマンス比較
1,000万行でのベンチマークです。詳しくは ベンチマークスクリプト と パフォーマンスガイド を参照してください。
DataStore を使うタイミング
- 大規模なデータセット (数百万行) を扱う場合
- 集計や groupby 操作を行う場合
- ファイル、データベース、または Cloud ストレージ内のデータをクエリする場合
- 複雑なデータパイプラインを構築する場合
- より高いパフォーマンスで pandas API を使いたい場合
- SQL を直接書きたい場合
- クエリ実行を細かく制御する必要がある場合
- pandas API では利用できない ClickHouse 固有の機能を使う場合
機能比較
API統計
はじめに
- クイックスタート - インストールと基本的な使い方
- Pandas からの移行 - 移行手順ガイド
API リファレンス
- Factory Methods - さまざまなソースから DataStore を作成
- Query Building - SQL スタイルのクエリ操作
- Pandas Compatibility - pandas 互換の 209 個のメソッド
- Accessors - String、DateTime、Array、JSON、URL、IP、Geo のアクセサ
- Aggregation - 集計関数とウィンドウ関数
- I/O Operations - データの読み取りと書き込み
応用トピック
設定とデバッグ
- 設定 - すべての設定オプション
- パフォーマンスモード - 最大のスループットを実現する SQL 優先モード
- デバッグ - Explain、プロファイリング、ログ
Pandasユーザーガイド
- Pandasクックブック - よくあるパターン
- 主な違い - pandasとの重要な違い
- パフォーマンスガイド - 最適化のヒント
- Pandasユーザー向けSQL - pandasの操作の裏で使われるSQLを理解する
簡単な使用例
次のステップ
- DataStore は初めてですか? クイックスタートガイドから始めましょう
- pandas から移行する場合 移行ガイドをご覧ください
- さらに詳しく知りたいですか? API リファレンスをご覧ください