pg_dump나 pg_restore를 사용하거나, 단일 스레드로 원본 데이터베이스에서 읽어 ClickHouse에 쓰는 등 이 작업을 단일 스레드 방식으로 수행합니다.
하지만 Postgres ClickPipe는 이 과정을 병렬화할 수 있어 초기 적재 속도를 크게 높일 수 있습니다.
Postgres에서는 테이블의 각 행에 CTID라고 하는 고유 식별자가 있습니다. 이는 기본적으로 표시되지 않는 시스템 컬럼이지만, 테이블 내 행을 고유하게 식별하는 데 사용할 수 있습니다. CTID는 블록 번호와 해당 블록 내 오프셋을 조합한 값으로, 이를 통해 행에 효율적으로 접근할 수 있습니다.
Postgres ClickPipe는 CTID 컬럼을 사용해 원본 테이블을 논리적으로 파티셔닝합니다. 먼저 원본 테이블에서 COUNT(*)를 수행한 다음, 각 파티션의 CTID 범위를 가져오기 위한 윈도 함수 기반 파티셔닝 쿼리를 실행해 파티션을 계산합니다. 이를 통해 ClickPipe는 원본 테이블을 병렬로 읽을 수 있으며, 각 파티션은 별도의 스레드에서 처리됩니다.
아래 설정을 살펴보겠습니다.

- 파이프를 생성한 후에는 스냅샷 매개변수를 수정할 수 없습니다. 변경하려면 새 ClickPipe를 생성해야 합니다.
- 기존 ClickPipe에 테이블을 추가할 때는 스냅샷 매개변수를 변경할 수 없습니다. 새 테이블에는 기존 매개변수가 적용됩니다.