auto 모드(기본값)에서는 DataStore가 각 작업에 대해 최적의 엔진을 선택합니다:
- SQL 호환 필터링 (
filter(),where()) - 컬럼 선택 (
select()) - 정렬 (
sort(),orderby()) - 그룹화 및 집계 (
groupby().agg()) - 조인 (
join(),merge()) - 중복 제거 (
distinct(),drop_duplicates()) - 행 수 제한 (
limit(),head(),tail())
- 사용자 정의 apply 함수 (
apply(custom_func)) - 사용자 정의 집계를 포함한 복잡한 피벗 테이블
- SQL로 표현할 수 없는 작업
- 입력이 이미 pandas DataFrame인 경우
모든 작업이 ClickHouse SQL을 통해 수행되도록 강제합니다:
- 대규모 데이터셋(수백만 행) 처리
- 집계 부하가 큰 워크로드
- SQL 최적화를 최대한 활용해야 하는 경우
- 모든 작업 전반에서 일관된 동작이 필요할 때
- 사용자 정의 Python 함수는 지원되지 않을 수 있습니다.
- 일부 pandas 전용 기능은 변환이 필요할 수 있습니다.
모든 작업이 pandas를 거치도록 강제합니다:
- pandas와의 호환성 테스트가 필요한 경우
- pandas 전용 기능을 사용하는 경우
- pandas 관련 문제를 디버깅하는 경우
- 데이터가 이미 pandas 포맷인 경우
서로 다른 DataStore의 컬럼을 결합하는 작업에 사용할 엔진을 구성합니다:
1,000만 행 기준 벤치마크 결과:
핵심 사항:
- chDB는 집계와 복잡한 파이프라인에서 특히 뛰어난 성능을 보입니다
- pandas는 단순한 단일 작업에서 약간 더 빠릅니다
- 두 방식의 장점을 모두 활용하려면
auto모드를 사용하세요