Перейти к основному содержанию
DataStore — это API chDB, совместимый с pandas, который сочетает привычный интерфейс pandas DataFrame с возможностями оптимизации SQL-запросов и позволяет писать код в стиле pandas, сохраняя производительность ClickHouse.

Ключевые возможности

  • Совместимость с pandas: 209 методов pandas DataFrame, 56 методов .str, 42+ методов .dt
  • SQL-оптимизация: Операции автоматически компилируются в оптимизированные SQL-запросы
  • Отложенное вычисление: Операции откладываются до тех пор, пока не понадобятся результаты
  • 630+ методов API: Широкий набор методов API для обработки данных
  • Расширения ClickHouse: Дополнительные аксессоры (.arr, .json, .url, .ip, .geo), недоступные в pandas

Архитектура

DataStore использует отложенное вычисление с выполнением на двух движках:
  1. Цепочка отложенных операций: операции фиксируются, а не выполняются сразу
  2. Интеллектуальный выбор движка: QueryPlanner направляет каждый сегмент в наиболее подходящий движок (chDB для SQL, Pandas для сложных операций)
  3. Промежуточное кэширование: результаты кэшируются на каждом шаге для быстрого итеративного анализа
Подробности см. в разделе Модель выполнения.

Миграция из Pandas в одну строку

Ваш существующий код pandas работает без изменений, но теперь использует движок ClickHouse.

Сравнение производительности

DataStore обеспечивает значительный прирост производительности по сравнению с pandas, особенно при агрегации и в сложных конвейерах: Бенчмарк на 10 млн строк. Подробности см. в скрипте бенчмарка и руководстве по производительности.

Когда использовать DataStore

Используйте DataStore, когда:
  • Работаете с большими датасетами (миллионы строк)
  • Выполняете агрегации и операции groupby
  • Запрашиваете данные из файлов, баз данных или облачного хранилища
  • Строите сложные конвейеры обработки данных
  • Вам нужен API pandas с более высокой производительностью
Используйте raw SQL API, когда:
  • Вы предпочитаете писать SQL напрямую
  • Вам нужен более тонкий контроль над выполнением запроса
  • Работаете с возможностями ClickHouse, недоступными в API pandas

Сравнение возможностей

Статистика API

Начало работы

Справочник по API

Дополнительные темы

Конфигурация и отладка

Руководства по Pandas

Краткий пример

Дальнейшие шаги