主要特性
- 进程内 SQL OLAP 引擎 - 由 ClickHouse 驱动,无需安装 ClickHouse server
- 多种数据格式 - 支持 Parquet、CSV、JSON、Arrow、ORC 的输入和输出,以及 另外 70 多种格式
- 尽量减少数据拷贝 - 借助 python memoryview 实现从 C++ 到 Python 的数据传递
- 丰富的 Python 生态集成 - 原生支持 Pandas、Arrow、DB API 2.0,可无缝融入现有数据科学工作流
- 零依赖项 - 无需安装外部数据库
- DataStore API - 与 pandas 兼容的 API,具备 SQL 优化能力,支持 630+ 个方法
DataStore: 与 pandas 兼容的 API
一行代码迁移
性能亮点
基于 1000 万行数据的基准测试
DataStore 功能
- 630+ 个 API 方法 - 209 个 pandas DataFrame 方法,185+ 个 Accessor 方法
- 惰性求值 - 操作会编译为优化后的 SQL
- SQL 下推 - 过滤器和聚合在数据源端执行
- 通用数据源 - 可从文件、S3、数据库、数据湖读取
chDB 支持哪些语言?
如何开始使用?
面向 pandas 用户
- DataStore 快速入门 - 安装与一行迁移
- 从 pandas 迁移 - 分步迁移指南
- Pandas 实用手册 - 常见用法
- 关键区别 - 与 pandas 的重要差异
- 性能指南 - 优化技巧
DataStore API 参考文档
- 工厂方法 - 从文件、数据库、云存储创建
- 查询构建 - SQL 风格操作
- Pandas 兼容性 - 209 个兼容方法
- 访问器 - .str、.dt、.arr、.json、.url、.ip、.geo
- 配置 - 引擎、日志、性能分析
- 调试 - explain()、性能分析、日志
SQL API 指南
- Python API 参考文档 - 完整的 SQL API 参考文档
- JupySQL
- 查询 Pandas
- 查询 Apache Arrow
- 查询 S3 中的数据
- 查询 Parquet 文件
- 查询远程 ClickHouse
- 使用 clickhouse-local 数据库
介绍视频
性能基准测试
- 嵌入式引擎的 ClickBench - SQL API 性能对比
- DataFrame Benchmark - DataFrame 引擎对比
- DataStore 与 Pandas 对比 - 在常见操作中,速度最高可达 pandas 的 20 倍
关于 chDB
- 在博客上阅读 chDB 项目诞生的完整故事
- 在博客上了解 chDB 及其用例
- 学习 chDB 点播课程
- 通过 codapi 示例在浏览器中体验 chDB
- 更多示例请参见 (https://github.com/chdb-io/chdb/tree/main/examples)