操作は即座に実行されます。
- クエリ最適化: 複数の操作が 1 つの SQL クエリにコンパイルされる
- カラムプルーニング: 必要なカラムだけが読み込まれる
- フィルタのプッシュダウン: フィルタがデータソース側で適用される
- メモリ効率: 必要のないデータは読み込まない
DataStore は、実際の値が必要になった時点で実行されます。
行の順序は常に維持されます。
rowNumberInAllBlocks() を使用) 。
- ファイルソース (CSV、Parquet、JSON など)
- pandas DataFrame ソース
- フィルタ操作
- カラムの選択
sort()またはsort_values()を明示的に実行した後- 順序を定義する操作 (
nlargest(),nsmallest(),head(),tail())
groupby()による集計の後 (順序を一定にしたい場合はsort_values()を使用してください)- 特定の JOIN 種別で
merge()/join()を行った後 - パフォーマンスモード (
config.use_performance_mode()) では、どの操作でも行の順序は保証されません。詳細は パフォーマンスモード を参照してください。
inplace=True はサポートされていません。必ず結果を代入してください。
- クエリの構築 (遅延評価)
- スレッドセーフ
- デバッグのしやすさ
- よりクリーンなコード
索引を完全にサポート:
- DataFrame ソース: pandas のインデックスを保持します
- File ソース: シンプルな整数インデックスを使用します
pandas は DataStore オブジェクトを認識できません:
numpy/pandas のデータ型を使用します:
すべてのデータはメモリ上に保持されます。
- pandas errors: pandasライブラリに由来
- DataStore errors: chDB または ClickHouse に由来
pandas から移行する場合:
- import 文を変更する
-
inplace=Trueパラメータを削除する - pandas DataFrame が必要な箇所では、明示的に
to_df()を追加する - 行の順序が重要な場合はソートを追加する
- 比較テストには
to_pandas()を使用する - 実際の使用を想定したデータサイズでテストする