Ключевые возможности
- Совместимость с pandas: 209 методов pandas DataFrame, 56 методов
.str, 42+ методов.dt - SQL-оптимизация: Операции автоматически компилируются в оптимизированные SQL-запросы
- Отложенное вычисление: Операции откладываются до тех пор, пока не понадобятся результаты
- 630+ методов API: Широкий набор методов API для обработки данных
- Расширения ClickHouse: Дополнительные аксессоры (
.arr,.json,.url,.ip,.geo), недоступные в pandas
Архитектура
- Цепочка отложенных операций: операции фиксируются, а не выполняются сразу
- Интеллектуальный выбор движка: QueryPlanner направляет каждый сегмент в наиболее подходящий движок (chDB для SQL, Pandas для сложных операций)
- Промежуточное кэширование: результаты кэшируются на каждом шаге для быстрого итеративного анализа
Миграция из Pandas в одну строку
Сравнение производительности
Бенчмарк на 10 млн строк. Подробности см. в скрипте бенчмарка и руководстве по производительности.
Когда использовать DataStore
- Работаете с большими датасетами (миллионы строк)
- Выполняете агрегации и операции groupby
- Запрашиваете данные из файлов, баз данных или облачного хранилища
- Строите сложные конвейеры обработки данных
- Вам нужен API pandas с более высокой производительностью
- Вы предпочитаете писать SQL напрямую
- Вам нужен более тонкий контроль над выполнением запроса
- Работаете с возможностями ClickHouse, недоступными в API pandas
Сравнение возможностей
Статистика API
Начало работы
- Краткое руководство - Установка и базовое использование
- Миграция из Pandas - Пошаговое руководство по миграции
Справочник по API
- Фабричные методы - Создание DataStore из различных источников
- Построение запросов - Операции с запросами в стиле SQL
- Совместимость с pandas - Все 209 методов, совместимых с pandas
- Аксессоры - Аксессоры String, DateTime, Array, JSON, URL, IP и Geo
- Агрегация - Агрегатные и оконные функции
- Операции ввода-вывода - Чтение и запись данных
Дополнительные темы
- Модель выполнения - Отложенные вычисления и кэширование
- Справочник класса - Полное описание API
Конфигурация и отладка
- Конфигурация - Все параметры
- Режим производительности - Режим с приоритетом SQL для максимальной пропускной способности
- Отладка - Explain, данные профилирования и логирование
Руководства по Pandas
- Pandas Cookbook - Типовые приёмы
- Ключевые различия - Важные отличия от Pandas
- Руководство по производительности - Советы по оптимизации
- SQL для пользователей Pandas - Понимание SQL, лежащего в основе операций Pandas
Краткий пример
Дальнейшие шаги
- Впервые работаете с DataStore? Начните с краткого руководства
- Переходите с pandas? Прочитайте руководство по миграции
- Хотите узнать больше? Ознакомьтесь с справочником по API