여기에서 비공개 프리뷰 대기자 명단에 등록할 수 있습니다.
APPENDS, CHANGES입니다.
BigQuery ClickPipes는 ClickPipes UI를 통해 수동으로 배포하고 관리할 수 있으며, OpenAPI 및 Terraform을 사용해 프로그래밍 방식으로도 배포하고 관리할 수 있습니다.
초기 적재
초기 적재는 BigQuery 데이터셋에서 선택한 테이블을 ClickHouse로 복사합니다. 초기 적재만 실행할 수도 있고, 완료 후 지속적 복제를 이어갈 수도 있습니다. 적재할 때는 제공한 Google Cloud Storage(GCS) 버킷을 스테이징 공간으로 사용합니다. 초기 적재 전용 ClickPipe는 적재가 완료되면 중지됩니다.ClickPipes는 BigQuery의
EXPORT DATA 쿼리를 사용해 데이터를 스테이징 버킷으로 복사합니다. 이 쿼리를 실행하면 BigQuery 요금이 부과되며, GCS 스토리지 요금도 발생합니다.지속적 복제
초기 적재가 끝나면 BigQuery ClickPipe가 새 데이터를 폴링하여 ClickHouse에 반영할 수 있습니다. 초기 적재 없이 지속적 복제를 시작할 수도 있습니다. 원본 테이블의 데이터가 변경되는 방식에 따라 복제 방식을 선택하세요. 다음 예시는 쿼리의 형태를 보여 줍니다. ClickPipes는 설정된 컬럼과 이벤트 메타데이터를 선택합니다.
쿼리 기반 복제를 사용하려면 테이블마다 워터마크 컬럼을 선택하세요. 이 컬럼은
TIMESTAMP 컬럼이어야 하며 복제 대상 컬럼에도 포함되어야 합니다. 행을 삽입하거나 UPDATE할 때 워터마크 값을 설정하세요. 행이 변경되어도 워터마크 값이 더 최신으로 갱신되지 않으면 ClickPipes는 해당 변경 사항을 가져오지 않습니다. 삭제도 복제해야 한다면 CHANGES를 사용하세요.
두 이벤트 기반 방식 모두 일반 BigQuery 테이블이 필요합니다. APPENDS를 사용할 때는 변경 이력을 활성화하지 않아도 됩니다. CHANGES를 사용하려면 ClickPipe를 생성하기 전에 각 원본 테이블에서 변경 이력을 활성화하세요:
CHANGES를 사용하려면 대상 테이블에 BigQuery 기본 키(primary key) 또는 사용자 정의 정렬 키(sorting key)가 설정되어 있어야 합니다. ClickPipes가 정확한 행에 업데이트와 삭제를 적용할 수 있도록 각 행을 식별하는 컬럼을 선택하세요. BigQuery는 기본 키 제약 조건을 강제하지 않으므로 소스 데이터에서 해당 값이 중복되지 않도록 해야 합니다.
APPENDS와 CHANGES는 BigQuery 타임 트래블 기간 내의 원본 테이블 변경 사항만 읽을 수 있습니다. 이 기간은 기본적으로 7일이며 2일까지 단축할 수 있습니다. 복제가 이 기간을 초과해 지연되면 초기 적재를 새로 실행하여 전체 데이터 사본을 복원하세요. BigQuery는 세 가지 방식 모두에서 실행하는 쿼리에 요금을 부과합니다. CHANGES를 위해 변경 이력을 활성화하면 BigQuery 저장소 비용도 추가됩니다.서비스 계정 자격 증명
ClickPipes는 서비스 계정 키를 사용해 Google Cloud 프로젝트에 인증합니다. ClickPipes가 BigQuery에서 데이터를 내보내고, 이를 스테이징 GCS 버킷에 적재한 뒤 ClickHouse에서 읽을 수 있도록, 필요한 최소한의 권한만 부여된 전용 서비스 계정을 생성하는 것을 권장합니다.
GCP workload identity (베타)
GCP workload identity 가이드에 따라 ClickPipes 서비스 컨텍스트에서 관리형 서비스 계정을 확인하십시오. 이 계정에 아래의 BigQuery 및 GCS 역할을 부여한 다음,SERVICE_ACCOUNT_WORKLOAD_IDENTITY 인증을 사용하여 파이프를 생성하십시오. 이 인증 메서드를 사용할 때는 서비스 계정 자격 증명을 제공하지 마십시오.
BigQuery
ClickPipes에서 사용하는 서비스 계정에는 직접 제공한 계정이든 Workload Identity를 통해 관리되는 계정이든 관계없이 다음 BigQuery 역할이 필요합니다. 지속적 복제를 사용하려면 Google Cloud 프로젝트에roles/bigquery.readSessionUser 역할도 부여하십시오. ClickPipes는 BigQuery Storage Read API를 사용해 읽기 세션을 생성하고 CDC 쿼리 결과를 읽습니다. 이 역할은 데이터셋 수준에서 부여할 수 없습니다. 서비스 계정이 소스 데이터를 읽을 수 있도록 소스 데이터셋 또는 테이블에 부여된 roles/bigquery.dataViewer 역할은 그대로 유지하십시오.
액세스 범위를 더 구체적으로 제한하려면 IAM 조건을 사용해 해당 역할이 액세스할 수 있는 리소스를 제한하는 것을 권장합니다. 예를 들어, dataViewer 역할을 동기화하려는 테이블이 포함된 특정 데이터셋으로 제한할 수 있습니다.
objectAdmin 및 bucketViewer 역할을 ClickPipes 동기화용으로 생성된 전용 버킷에만 적용되도록 제한할 수 있습니다.