- 쿼리 최적화: 여러 작업이 하나의 최적화된 SQL 쿼리로 컴파일됩니다
- 필터 푸시다운: 필터가 데이터 소스에서 적용됩니다
- 컬럼 프루닝: 필요한 컬럼만 읽습니다
- 결정 지연: 실행 엔진은 런타임에 선택할 수 있습니다
- 계획 확인: 실행 전에 쿼리를 확인하거나 디버그할 수 있습니다
실제 값이 필요해지면 실행이 자동으로 트리거됩니다:
예시:
예시:
DataStore 연산은 3단계 실행 모델을 따릅니다: SQL로 표현할 수 있는 작업이 누적됩니다:
실행 계획을 확인하려면
explain()을 사용하세요:
Query
Response
verbose=True를 사용하십시오:
DataStore는 불필요한 쿼리 반복을 피하기 위해 실행 결과를 캐시합니다.
DataStore는 SQL과 pandas를 함께 사용하는 작업을 지능적으로 처리합니다: 다음 연산은 SQL로 컴파일됩니다:
filter(),where()select()groupby(),agg()sort(),orderby()limit(),offset()join(),union()distinct()- 컬럼 연산(수학, 비교, 문자열 메서드)
- 사용자 정의 함수와 함께
apply() - 복잡한 집계와 함께
pivot_table() stack(),unstack()- 실행된 DataFrame에서 수행하는 작업
DataStore는 다양한 엔진을 사용해 작업을 실행할 수 있습니다:
- 실행 전에 작업을 이어서 구성하십시오 - 전체 쿼리를 만든 다음 한 번만 트리거하십시오
- 가능한 한 일찍 필터링하십시오 - 원본에서 데이터를 줄이십시오
- 필요한 컬럼만 선택하십시오 - 컬럼 프루닝은 성능을 향상시킵니다
- 실행 방식을 이해하려면
explain()을 사용하십시오 - 실행 전에 디버그하십시오 - 집계는 SQL이 처리하도록 하십시오 - ClickHouse는 이에 최적화되어 있습니다
- 실행 트리거를 숙지하십시오 - 의도치 않은 조기 실행을 피하십시오
- 캐싱을 현명하게 사용하십시오 - 캐시가 언제 무효화되는지 이해하십시오