- 数据量:1000 万行
- 硬件:标准笔记本电脑
- 文件格式:CSV
- GroupBy 操作:DataStore 最高可快 19.93 倍
- 复杂管道:DataStore 快 5–6 倍 (受益于 SQL 下推)
- 简单切片操作:性能相当——差异微乎其微
- 最佳用例:包含 GroupBy/聚合的多步操作
- 零拷贝:
to_df()没有数据转换开销
在大多数情况下,DataStore 的性能与 pandas 相当或更胜一筹。不过,在以下这些特定场景中,pandas 可能会稍快一些:
重要即使在 DataStore “较慢” 的场景下,其性能通常也与 pandas 不相上下——在实际使用中,这点差异几乎可以忽略不计。相比这些边缘情况,DataStore 在复杂操作中的优势要明显大得多。如需更细粒度地控制执行,请参阅执行引擎配置。
DataStore 使用 零拷贝 方式读写 pandas DataFrame。这意味着:
to_df()基本没有开销——无需序列化或复制内存- 从 pandas DataFrame 创建 DataStore 几乎是瞬时完成的
- DataStore 与 pandas 视图共享内存
对于聚合密集型工作负载,如果不需要精确的 pandas 输出格式 (行顺序、MultiIndex 列、Dtype 修正) ,请启用性能模式以获得最大吞吐量: