- クエリ最適化: 複数の操作が、最適化された単一のSQLクエリにまとめてコンパイルされます
- フィルタのプッシュダウン: フィルタはデータソースレベルで適用されます
- カラムプルーニング: 必要なカラムだけが読み込まれます
- 実行時の判断: 実行エンジンは実行時に選択できます
- プランの確認: 実行前にクエリを確認したりデバッグしたりできます
実際の値が必要になると、自動的に実行がトリガーされます:
例:
例:
DataStore の操作は、3 段階の実行モデルに沿って進行します。 SQLで表現できる操作が蓄積されます:
explain() を使用すると、実行される内容を確認できます。
Query
Response
verbose=True を使用します:
DataStore は、重複するクエリの実行を避けるために、実行結果をキャッシュします。
DataStore は、SQL と pandas を組み合わせた操作を適切に処理します。 以下はSQLに変換されます:
filter(),where()select()groupby(),agg()sort(),orderby()limit(),offset()join(),union()distinct()- カラム操作 (算術演算、比較、文字列メソッド)
- カスタム関数を使った
apply() - 複雑な集計を行う
pivot_table() stack()、unstack()- 実行済みの DataFrame に対する操作
DataStore では、異なるエンジンを使って操作を実行できます。
- 実行前に一連の操作を組み立てる - クエリ全体を構築してから、一度だけトリガーします
- 早い段階で絞り込む - データの発生元でデータ量を減らします
- 必要なカラムだけを選択する - カラムプルーニングによりパフォーマンスが向上します
- 実行内容を理解するために
explain()を使う - 実行前にデバッグします - 集計は SQL に任せる - ClickHouse はこの処理に最適化されています
- 実行のトリガーを意識する - 意図しない早期実行を避けます
- キャッシュを適切に使う - cache が無効になるタイミングを理解します