첫 번째 Amazon S3 ClickPipe 만들기

S3 ClickPipe는 Amazon S3 및 S3 호환 객체 스토어의 데이터를 ClickHouse Cloud로 수집하는 완전관리형의 안정적인 방법입니다. 정확히 한 번 처리 의미 체계를 보장하며, 일회성 수집과 지속적인 수집을 모두 지원합니다.

데이터 소스 선택

1. ClickHouse Cloud의 기본 탐색 메뉴에서 Data sources를 선택하고 Create ClickPipe를 클릭합니다.

2. Amazon S3 타일을 클릭하세요. 이 타일을 사용하면 ClickPipes UI에 표시되지 않은 다른 S3 호환 서비스에도 연결할 수 있습니다.

객체 스토리지 서비스 제공업체마다 URL 포맷과 API 구현이 다르므로, 모든 S3 호환 서비스가 별도 설정 없이 즉시 지원되는 것은 아닙니다. 지원되는 data sources에 없는 서비스를 사용 중 문제가 발생하면 팀에 문의하세요.

ClickPipe connection 설정

1. 새 ClickPipe를 설정하려면 객체 스토리지 서비스에 연결하고 인증하는 데 필요한 세부 정보를 제공해야 합니다.

인증 방식: S3 ClickPipe는 IAM credentials (Credentials)와 IAM role-based authentication (IAM role)을 지원합니다. 인증 및 권한에 대한 안내는 참고 문서를 참조하십시오.
- S3 파일 경로: S3 ClickPipe는 virtual-hosted-style URI 형식을 사용해야 합니다.
  https://bucket-name.s3.region-code.amazonaws.com/key-name
  POSIX 와일드카드를 사용해 여러 파일 또는 프리픽스와 일치시킬 수 있습니다. 지원되는 패턴에 대한 안내는 참고 문서를 참조하십시오.

2. Incoming data를 클릭합니다. ClickPipes가 다음 단계에 사용할 메타데이터를 버킷에서 가져옵니다.

데이터 포맷 선택

UI에 지정된 버킷의 파일 목록이 표시됩니다. 데이터 포맷(현재 ClickHouse 포맷의 일부만 지원)을 선택하고, 지속적인 수집을 활성화할지 선택합니다. 자세한 내용은 개요 페이지의 “continuous ingest” 섹션을 참조하십시오.

테이블, 스키마 및 설정 구성

다음 단계에서는 데이터를 새 ClickHouse 테이블에 수집할지, 기존 테이블을 재사용할지 선택할 수 있습니다. 화면의 안내에 따라 테이블 이름, 스키마, 설정을 수정하십시오. 상단의 샘플 테이블에서 변경 사항의 실시간 미리보기를 확인할 수 있습니다.

제공된 컨트롤을 사용해 고급 설정도 사용자 지정할 수 있습니다.

또는 데이터를 기존 ClickHouse 테이블에 수집하도록 선택할 수도 있습니다. 이 경우 UI에서 소스 필드를 선택한 대상 테이블의 ClickHouse 필드에 매핑할 수 있습니다.

_path 또는 _size와 같은 virtual columns도 필드에 매핑할 수 있습니다.

권한 구성

마지막으로 내부 ClickPipes 사용자에 대한 권한을 구성할 수 있습니다.권한: ClickPipes는 대상 테이블에 데이터를 쓰기 위한 전용 사용자를 생성합니다. 사용자 지정 Role 또는 미리 정의된 Role 중 하나를 선택해 이 내부 사용자의 Role을 지정할 수 있습니다.

Full access: 클러스터 전체에 대한 액세스 권한입니다. 대상 테이블과 함께 materialized view 또는 딕셔너리(Dictionary)를 사용하는 경우 필요합니다.
Only destination table: 대상 테이블에만 INSERT 권한을 부여합니다.