설정 가이드
- Estuary 계정
- 원하는 소스에서 데이터를 가져오는 Estuary의 하나 이상의 capture
- ClickPipe 권한이 있는 ClickHouse Cloud 계정
1
Estuary 머티리얼라이즈 생성
Estuary의 소스 컬렉션에서 ClickHouse로 데이터를 전송하려면 먼저 머티리얼라이즈를 생성해야 합니다.
- Estuary 대시보드에서 Destinations 페이지로 이동합니다.
- + New Materialization을 클릭합니다.
- ClickHouse Kafka API connector를 선택합니다.
- Materialization, Endpoint, Source Collections 섹션에서 세부 정보를 입력합니다.
- Materialization Details: 머티리얼라이즈의 고유 이름을 입력하고 데이터 플레인(클라우드 제공업체 및 리전)을 선택합니다.
- Endpoint Config: 보안 Auth Token을 입력합니다.
- Source Collections: 기존 capture를 연결하거나 ClickHouse에 노출할 데이터 컬렉션을 선택합니다.
- Next를 클릭한 후 Save and Publish를 클릭합니다.
- 머티리얼라이즈 세부 정보 페이지에서 ClickHouse 머티리얼라이즈의 전체 이름을 확인합니다.
your-tenant/your-unique-name/dekaf-clickhouse와 같은 형식입니다.
2
Kafka 연결 정보 입력
ClickHouse에서 새 Kafka ClickPipe를 설정하고 연결 정보를 입력합니다.
- ClickHouse Cloud 대시보드에서 Data sources를 선택합니다.
- 새 ClickPipe를 생성합니다.
- 데이터 소스로 Apache Kafka를 선택합니다.
- Estuary의 브로커 및 스키마 레지스트리 정보를 사용하여 Kafka 연결 정보를 입력합니다.
- ClickPipe 이름을 입력합니다.
- 브로커에는
dekaf.estuary-data.com:9092를 사용합니다. - 인증은 기본값인
SASL/PLAIN옵션으로 둡니다. - 사용자에는 Estuary의 전체 머티리얼라이즈 이름(예:
your-tenant/your-unique-name/dekaf-clickhouse)을 입력합니다. - 비밀번호에는 머티리얼라이즈에 제공한 인증 토큰을 입력합니다.
- 스키마 레지스트리 옵션을 활성화합니다.
- 스키마 URL에는
https://dekaf.estuary-data.com를 사용합니다. - 스키마 키는 브로커 사용자, 즉 머티리얼라이즈 이름과 동일합니다.
- 시크릿은 브로커 비밀번호, 즉 인증 토큰과 동일합니다.
- 스키마 URL에는
3
수신 데이터 구성
- Kafka topics 중 하나(Estuary의 데이터 컬렉션 중 하나)를 선택합니다.
- offset을 선택합니다.
- ClickHouse가 topic 메시지를 감지합니다. Parse information 섹션으로 이동해 테이블 정보를 구성할 수 있습니다.
- 새 테이블을 생성하거나 일치하는 기존 테이블에 데이터를 로드하도록 선택합니다.
- 소스 필드를 테이블 컬럼에 매핑하고 컬럼명, 유형, 널 허용 여부를 확인합니다.
- 마지막 Details and settings 섹션에서 전용 데이터베이스 사용자에게 부여할 권한을 선택할 수 있습니다.
추가 리소스
- ClickPipes 통합에 대해서는 Estuary의 ClickHouse 머티리얼라이즈 문서를 참조하십시오.
- Estuary는 Dekaf를 사용하여 데이터를 Kafka 메시지로 제공합니다. Dekaf에 대한 자세한 내용은 Estuary 가이드를 참조하십시오.