메인 콘텐츠로 건너뛰기
여기에서 비공개 프리뷰 대기자 명단에 등록할 수 있습니다.
BigQuery ClickPipe는 BigQuery의 데이터를 ClickHouse Cloud로 수집할 수 있는 완전관리형의 안정적인 방법을 제공합니다. 비공개 프리뷰에서는 초기 적재, 초기 적재 후 지속적 복제, 초기 적재 없는 지속적 복제를 지원합니다. 지원되는 CDC 방식은 쿼리 기반 복제, APPENDS, CHANGES입니다. BigQuery ClickPipes는 ClickPipes UI를 통해 수동으로 배포하고 관리할 수 있으며, OpenAPI 및 Terraform을 사용해 프로그래밍 방식으로도 배포하고 관리할 수 있습니다.

사전 요구 사항

  • GCP 프로젝트에서 서비스 계정 및 IAM 역할을 관리할 수 있는 권한이 있어야 합니다. 해당 권한이 없으면 관리자에게 지원을 요청하십시오. 공식 문서를 참고하여 필요한 최소한의 권한만 부여된 전용 서비스 계정을 생성하는 것이 좋습니다.
  • 초기 적재에는 스테이징용 Google Cloud Storage (GCS) 버킷이 필요합니다. Google Cloud 안내를 참고하여 ClickPipe 전용 버킷을 생성하는 것이 좋습니다.
  • 지속적 복제를 사용하려면 프로젝트에서 서비스 계정에 BigQuery Read Session User 역할을 부여하십시오. 테이블을 선택하기 전에 복제 방식의 요구 사항을 확인하십시오.
1

데이터 소스를 선택하세요

1. ClickHouse Cloud의 기본 탐색 메뉴에서 Data sources를 선택한 후 Create ClickPipe를 클릭하십시오.
가져오기 선택
2. BigQuery 타일을 클릭하십시오.
BigQuery 타일 선택
2

ClickPipe 연결을 설정하세요

BigQuery 프로젝트의 연결 정보를 입력하세요. 초기 적재를 실행하는 경우 스테이징용 GCS 버킷도 지정하세요.1. ClickPipes용으로 생성한 서비스 계정의 .json 키를 업로드하세요. 서비스 계정에 필요한 최소 권한이 부여되어 있는지 확인하세요.
서비스 계정 키 업로드
2. 복제 모드로 초기 적재만, 초기 적재 + CDC, CDC만 중 하나를 선택하세요. CDC 모드를 선택한 경우 쿼리 기반 또는 이벤트 기반 방식을 선택하세요.
BigQuery 복제 모드 옵션: 초기 적재만, 초기 적재 + CDC, CDC만
3. 초기 적재를 실행하는 경우 스테이징 데이터용 GCS 버킷 경로를 입력하세요.4. 다음을 클릭하여 입력한 정보를 검사하세요.
3

ClickPipe를 설정하세요

선택한 단계에 해당하는 값을 다음과 같이 설정하세요. 초기 적재 설정은 ClickPipe가 기존 데이터를 가져올 때만 적용되고, CDC 설정은 이후 변경 사항을 계속 복제할 때만 적용됩니다.
동기화 간격, 초기 적재, CDC에 대한 BigQuery ClickPipe 설정
4

테이블 구성

1. BigQuery 테이블이 복제될 ClickHouse 데이터베이스를 선택하세요. 기존 데이터베이스를 선택하거나 새로 만들 수 있습니다.2. 원본 테이블을 선택하세요. 각 대상 테이블의 이름을 변경하고 컬럼 설정에서 복제할 컬럼을 선택할 수 있습니다. 목록에는 서비스 계정이 접근할 수 있는 데이터세트만 표시됩니다.
BigQuery 원본 테이블을 선택하고 대상 테이블 이름, CDC 워터마크, 정렬 키, 고급 설정을 구성합니다
3. 각 테이블의 CDC 옵션을 설정하세요. 스크린샷에는 쿼리 기반 설정이 표시되어 있습니다. TIMESTAMP 타입의 CDC 워터마크 컬럼을 선택해 복제할 컬럼에 포함하고, 행이 변경될 때마다 해당 컬럼의 값을 갱신하세요. 이벤트 기반 복제에서는 대신 APPENDS 또는 CHANGES를 선택하세요. CHANGES를 사용하려면 원본 테이블에 enable_change_history = TRUE가 설정되어 있어야 합니다.4. 정렬 키를 확인하세요. 행이 갱신되거나 삭제될 수 있다면 각 행을 식별할 수 있는, 값이 변하지 않는 컬럼을 선택하세요. CHANGES를 사용하려면 원본 테이블에 기본 키가 있거나 여기서 정렬 키를 설정해야 합니다. ClickHouse는 정렬 키를 기준으로 데이터를 정렬해 쿼리에 활용합니다. 정렬 키가 없으면 tuple()을 사용하며 프라이머리 인덱스가 생성되지 않습니다.5. 고급 설정을 열어 ClickHouse 테이블의 엔진이나 초기 적재에 사용할 선택적 파티셔닝 키를 지정하세요. 여기서 지정하는 파티셔닝 키는 대상 테이블의 PARTITION BY 표현식을 설정하지 않습니다.
5

권한 설정

마지막으로 ClickPipes 내부 사용자의 권한을 설정할 수 있습니다.권한: ClickPipes는 대상 테이블에 데이터를 쓰는 전용 사용자를 생성합니다. 이 내부 사용자에게 custom 역할이나 사전 정의된 역할 중 하나를 지정할 수 있습니다.
  • Full access: 클러스터에 대한 전체 액세스 권한을 부여합니다. 대상 테이블에 materialized view 또는 딕셔너리를 사용하는 경우 필요합니다.
  • Only destination: 대상 테이블에 대한 삽입 권한만 부여합니다.
6

설정을 완료하세요

Create ClickPipe를 클릭하여 설정을 완료하세요. 개요 페이지로 이동하면 초기 적재 진행 상황을 확인하고, BigQuery ClickPipes를 클릭하여 세부 정보를 볼 수 있습니다.
권한