- 데이터: 1,000만 행
- 하드웨어: 표준 노트북
- 파일 포맷: CSV
- GroupBy 연산: DataStore가 최대 19.93배 더 빠릅니다
- 복잡한 파이프라인: DataStore가 5-6배 더 빠릅니다 (SQL 푸시다운의 이점)
- 단순 슬라이스 작업: 성능이 비슷해 차이가 거의 없습니다
- 가장 적합한 사용 사례: GroupBy/집계를 포함한 다단계 작업
- zero-copy:
to_df()에는 데이터 변환 오버헤드가 없습니다
대부분의 시나리오에서 DataStore는 pandas와 비슷하거나 더 나은 성능을 보입니다. 하지만 다음과 같은 특정한 경우에는 pandas가 약간 더 빠를 수 있습니다:
중요DataStore가 “더 느린” 경우에도 성능은 일반적으로 pandas와 비슷한 수준이며, 실제 사용에서는 차이가 거의 없습니다. 복잡한 작업에서는 DataStore의 장점이 이러한 예외적인 경우를 훨씬 상회합니다.실행을 세밀하게 제어하는 방법은 실행 엔진 구성을 참조하십시오.
DataStore는 pandas 데이터프레임을 읽고 쓸 때 zero-copy를 사용합니다. 이는 다음을 의미합니다:
to_df()는 직렬화(serialization)나 메모리 복사 없이 사실상 비용이 들지 않습니다- pandas DataFrame에서 DataStore를 생성하는 작업은 즉시 완료됩니다
- 메모리는 DataStore와 pandas 뷰 사이에서 공유됩니다
정확한 pandas 출력 형식(행 순서, MultiIndex 컬럼, Dtype 보정)이 필요하지 않은 집계 작업이 많은 워크로드에서는 최대 처리량을 위해 성능 모드를 활성화하세요: