사용 가능한 옵션
사용 사례에 적합한 옵션은 ClickHouse 배포 유형, 데이터 흐름 방향, 운영 요구 사항 등 여러 요소에 따라 달라집니다.
이 옵션 간의 자세한 비교는 옵션 선택을 참조하십시오.
ClickPipes for Kafka
ClickPipes는 몇 번만 클릭하면 다양한 소스에서 데이터를 손쉽게 수집할 수 있는 관리형 통합 플랫폼입니다. ClickPipes는 완전관리형 서비스이며 프로덕션 workload에 맞춰 설계되었기 때문에, 인프라 및 운영 비용을 크게 줄이고 외부 데이터 스트리밍 및 ETL 도구가 필요하지 않게 합니다.주요 기능
- ClickHouse Cloud에 최적화되어 매우 뛰어난 성능 제공
- 높은 처리량 워크로드를 위한 수평 및 수직 확장 지원
- 구성 가능한 레플리카와 자동 재시도를 통한 기본 제공 장애 허용
- ClickHouse Cloud UI, Open API 또는 Terraform를 통한 배포 및 관리
- 클라우드 네이티브 권한 부여(IAM) 및 프라이빗 연결(PrivateLink)을 지원하는 엔터프라이즈급 보안
- Confluent Cloud, Amazon MSK, Redpanda Cloud, Azure Event Hubs를 포함한 다양한 데이터 소스 지원
- 널리 사용되는 대부분의 직렬화 포맷(JSON, Avro, Protobuf) 지원
시작하기
ClickPipes for Kafka를 시작하려면 참고 문서를 참조하거나 ClickHouse Cloud UI의Data Sources 탭으로 이동하세요.
Kafka Connect Sink
Kafka Connect는 Kafka와 다른 데이터 시스템 간의 간단한 데이터 통합을 위한 중앙 집중식 데이터 허브 역할을 하는 오픈소스 프레임워크입니다. ClickHouse Kafka Connect Sink 커넥터는 Apache Kafka 및 기타 Kafka API 호환 브로커에서 데이터를 읽어올 수 있는 확장 가능하고 유연하게 구성할 수 있는 옵션을 제공합니다.주요 기능
- 정확히 한 번 처리 의미 체계를 지원하도록 설정할 수 있습니다
- 가장 널리 사용되는 직렬화 포맷(JSON, Avro, Protobuf)을 지원합니다
- ClickHouse Cloud 환경에서 지속적으로 테스트됩니다
시작하기
ClickHouse Kafka Connect Sink를 시작하려면 참고 문서를 참조하세요.Kafka 테이블 엔진
Kafka 테이블 엔진은 Apache Kafka 및 기타 Kafka API 호환 브로커에서 데이터를 읽거나 쓸 때 사용할 수 있습니다. 이 옵션은 오픈소스 ClickHouse에 기본 포함되어 있으며, 모든 배포 방식에서 사용할 수 있습니다.주요 기능
- 데이터 읽기 및 쓰기에 사용할 수 있습니다
- 오픈 소스 ClickHouse에 기본 포함되어 있습니다
- 널리 사용되는 직렬화 포맷(JSON, Avro, Protobuf) 대부분을 지원합니다
시작하기
Kafka 테이블 엔진을 시작하려면 참고 문서를 참조하십시오.옵션 선택
기타 옵션
- Confluent - Confluent Cloud에서는 완전 관리형 ClickHouse Connector Sink를 사용하거나, 커넥터를 Custom Connector로 직접 업로드하여 사용할 수 있습니다. 또한 자가 관리형으로 운영하거나 Confluent Cloud에서 완전 관리형으로 제공되는 HTTP Sink 커넥터를 사용하여 HTTP 또는 HTTPS를 통해 Apache Kafka를 API와 통합할 수도 있습니다.
- Vector - Vector는 벤더 중립적인 데이터 파이프라인입니다. Kafka에서 데이터를 읽고 이벤트를 ClickHouse로 전송할 수 있어, 강력한 통합 옵션입니다.
- JDBC Connect Sink - Kafka Connect JDBC Sink 커넥터를 사용하면 Kafka 토픽의 데이터를 JDBC 드라이버를 지원하는 모든 관계형 데이터베이스로 내보낼 수 있습니다.
- 사용자 지정 코드 - 이벤트에 대한 사용자 지정 처리가 필요한 경우, Kafka와 ClickHouse 클라이언트 라이브러리를 사용하는 사용자 지정 코드가 적합할 수 있습니다.