Skip to main content

설명

Parquet file 메타데이터를 읽기 위한 특수 포맷입니다(https://parquet.apache.org/docs/file-format/metadata/). 항상 다음 구조/내용으로 1개의 행을 출력합니다.
  • num_columns - 컬럼 수
  • “num_rows` - 전체 행 수
  • num_row_groups - 전체 row group 수
  • format_version - Parquet 포맷 버전으로, 항상 1.0 또는 2.6입니다
  • total_uncompressed_size - 데이터의 전체 비압축 바이트 크기이며, 모든 row group의 total_byte_size 합으로 계산됩니다
  • total_compressed_size - 데이터의 전체 압축 바이트 크기이며, 모든 row group의 total_compressed_size 합으로 계산됩니다
  • columns - 다음 구조를 가진 컬럼 메타데이터 목록:
    • name - 컬럼 이름
    • path - 컬럼 경로(Nested 컬럼의 경우 name과 다름)
    • max_definition_level - 최대 definition level
    • max_repetition_level - 최대 repetition level
    • physical_type - 컬럼 물리 타입
    • logical_type - 컬럼 논리 타입
    • compression - 이 컬럼에 사용된 압축 방식
    • total_uncompressed_size - 컬럼의 전체 비압축 바이트 크기이며, 모든 row group에서 해당 컬럼의 total_uncompressed_size 합으로 계산됩니다
    • total_compressed_size - 컬럼의 전체 압축 바이트 크기이며, 모든 row group에서 해당 컬럼의 total_compressed_size 합으로 계산됩니다
    • space_saved - 압축으로 절약된 공간의 비율이며, (1 - total_compressed_size/total_uncompressed_size)로 계산됩니다.
    • encodings - 이 컬럼에 사용된 인코딩 목록
  • row_groups - 다음 구조를 가진 row group 메타데이터 목록:
    • num_columns - row group의 컬럼 수
    • num_rows - row group의 행 수
    • total_uncompressed_size - row group의 전체 비압축 바이트 크기
    • total_compressed_size - row group의 전체 압축 바이트 크기
    • columns - 다음 구조를 가진 컬럼 청크 메타데이터 목록:
      • name - 컬럼 이름
      • path - 컬럼 경로
      • total_compressed_size - 컬럼의 전체 압축 바이트 크기
      • total_uncompressed_size - row group의 전체 비압축 바이트 크기
      • have_statistics - 컬럼 청크 메타데이터에 column statistics가 포함되어 있는지를 나타내는 불리언 flag
      • statistics - 컬럼 청크 통계(have_statistics = false이면 모든 필드가 NULL)로, 다음 구조를 가집니다:
        • num_values - 컬럼 청크에서 non-NULL 값의 수
        • null_count - 컬럼 청크에서 NULL 값의 수
        • distinct_count - 컬럼 청크에서 고유값 수
        • min - 컬럼 청크의 최솟값
        • max - 컬럼 청크의 최댓값

사용 예시

예시:
마지막 수정일 2026년 7월 23일