操作会立即执行:
- 查询优化:多个操作会编译成一条 SQL 查询
- 列裁剪:仅读取所需的列
- 过滤器下推:过滤器会在源端生效
- 内存效率:避免加载不需要的数据
DataStore 会在需要实际值时执行:
始终保留行顺序:
rowNumberInAllBlocks()) ,以确保顺序与 pandas 保持一致。
- 文件源 (CSV、Parquet、JSON 等)
- pandas DataFrame 源
- 过滤操作
- 列选择
- 显式调用
sort()或sort_values()之后 - 会确定顺序的操作 (
nlargest()、nsmallest()、head()、tail())
- 在
groupby()聚合之后 (使用sort_values()可确保顺序一致) - 使用某些 join type 进行
merge()/join()之后 - 在 性能模式 (
config.use_performance_mode()) 下:任何操作的行顺序都无法保证。请参见性能模式。
inplace=True。请始终将结果赋值给变量:
- 查询构建 (惰性求值)
- 线程安全
- 更容易调试
- 更简洁的代码
完整的索引支持:
- DataFrame 来源:保留 pandas 索引
- File 来源:使用简单的整数索引
pandas 无法识别 DataStore 对象:
使用 numpy/pandas 数据类型:
所有数据都存储在内存中:
- pandas 错误:来自 pandas 库
- DataStore 错误:来自 chDB 或 ClickHouse
从 pandas 迁移时:
- 修改 import 语句
- 移除
inplace=True参数 - 在需要 pandas DataFrame 的地方显式添加
to_df() - 如果行顺序很重要,请添加排序
- 使用
to_pandas()进行对比测试 - 使用具有代表性的数据规模进行测试