- 查询优化:多个操作会编译成一条优化后的 SQL 查询
- 过滤器下推:过滤器会在数据源层面应用
- 列裁剪:只读取所需的列
- 延迟决策:可在运行时选择执行引擎
- 计划检查:可在执行前查看/调试查询
在需要实际值时,系统会自动触发执行:
示例:
示例:
DataStore 操作采用三阶段执行模型: 可用 SQL 表达的操作会先累积起来:
使用
explain() 可查看将如何执行:
Query
Response
verbose=True 查看更多详细信息:
DataStore 会缓存执行结果,以避免重复查询。
DataStore 可智能处理结合 SQL 和 Pandas 的操作: 以下操作会被编译为 SQL:
filter(),where()select()groupby(),agg()sort(),orderby()limit(),offset()join(),union()distinct()- 列操作 (数学运算、比较、字符串方法)
- 使用自定义函数的
apply() - 带有复杂聚合的
pivot_table() stack()、unstack()- 对已执行的 DataFrame 执行的操作
DataStore 可使用不同的引擎来执行操作:
- 执行前先串联各项操作 - 先构建完整查询,再统一触发一次
- 尽早过滤 - 在源头减少数据量
- 只选择所需列 - 列裁剪可提升性能
- 使用
explain()理解执行方式 - 运行前先调试 - 让 SQL 处理聚合 - ClickHouse 已对此进行了优化
- 留意执行触发时机 - 避免意外过早执行
- 合理使用缓存 - 了解缓存何时会失效