主要特性
- Pandas 兼容性:209 个 pandas DataFrame 方法、56 个
.str方法和 42+ 个.dt方法 - SQL 优化:操作会自动编译为优化后的 SQL 查询
- 惰性求值:操作会延迟到需要结果时才执行
- 630+ API 方法:提供全面的数据处理 API
- ClickHouse 扩展:提供 pandas 中没有的额外访问器 (
.arr、.json、.url、.ip、.geo)
架构
- 惰性操作链:操作只会被记录,不会立即执行
- 智能引擎选择:QueryPlanner 会将每个片段分派到最合适的引擎 (SQL 使用 chDB,复杂操作使用 Pandas)
- 中间结果缓存:每一步的结果都会被缓存,便于快速进行迭代探索
从 Pandas 一行代码迁移
性能对比
基于 1000 万行的基准测试。详见基准测试脚本和性能指南。
何时使用 DataStore
- 处理大型数据集 (数百万行)
- 执行聚合和 GroupBy 操作
- 从文件、数据库或云存储中查询数据
- 构建复杂的数据管道
- 你希望使用 pandas API,同时获得更好的性能
- 你更喜欢直接编写 SQL
- 你需要对查询执行进行更细粒度的控制
- 需要使用 pandas API 未提供的 ClickHouse 特有功能
功能对比
API 统计
开始使用
- 快速入门 - 安装和基本使用
- 从 Pandas 迁移 - 迁移分步指南
API 参考文档
- 工厂方法 - 从各种来源创建 DataStore
- 查询构建 - SQL 风格的查询操作
- Pandas 兼容性 - 全部 209 个与 pandas 兼容的方法
- Accessors - String、日期时间、Array、JSON、URL、IP、Geo 访问器
- 聚合 - 聚合函数和窗口函数
- I/O 操作 - 读取和写入数据
高级主题
配置与调试
Pandas 用户指南
- Pandas Cookbook - 常见用法
- 关键区别 - 与 pandas 的重要区别
- 性能指南 - 优化技巧
- 面向 Pandas 用户的 SQL - 理解 pandas 操作背后的 SQL