시작하기 전에 지원되는 AWS 리전을 확인하십시오.
지원되는 ClickPipes 데이터 소스
- Kafka
- Postgres
- MySQL
- MongoDB
Kafka의 경우, 호스트명이 엔드포인트의 private IP 주소로 해석되면 Confluent 호환 스키마 레지스트리에도 브로커와 동일한 Reverse Private Endpoint를 통해 연결할 수 있습니다. 따라서 공개적으로 액세스할 수 있을 필요가 없습니다.
지원되는 AWS PrivateLink 엔드포인트 유형
VPC 리소스
리전 간 연결은 지원되지 않습니다.
- 리소스 게이트웨이 생성
- 리소스 구성 생성
- 리소스 공유 생성
1
리소스 게이트웨이 만들기
리소스 게이트웨이는 VPC에서 지정한 리소스로 향하는 트래픽을 수신하는 지점입니다.AWS 콘솔 또는 다음 명령어를 사용하여 리소스 게이트웨이를 생성할 수 있습니다:출력에는 다음 단계에 필요한 리소스 게이트웨이 ID가 포함됩니다.계속하려면 리소스 게이트웨이가
리소스 게이트웨이에 연결된 서브넷에는 충분한 수의 사용 가능한 IP 주소가 있어야 합니다.
각 서브넷에 최소
/26 서브넷 마스크를 사용하는 것이 좋습니다.각 VPC 엔드포인트(각 Reverse Private Endpoint)에 대해 AWS는 서브넷당 연속된 16개의 IP 주소 블록을 요구합니다. (/28 서브넷 마스크)
이 요구 사항을 충족하지 않으면 Reverse Private Endpoint가 실패 상태로 전환됩니다.Active 상태가 될 때까지 기다려야 합니다. 다음 명령을 실행하여 상태를 확인할 수 있습니다:2
VPC 리소스 구성 만들기
Resource-Configuration을 리소스 게이트웨이에 연결하면 리소스에 액세스할 수 있습니다.AWS 콘솔 또는 다음 명령어를 사용하여 Resource-Configuration을 생성할 수 있습니다.가장 간단한 리소스 구성 유형은 단일 Resource-Configuration입니다. ARN을 직접 지정하거나, 공개적으로 확인할 수 있는 IP 주소 또는 도메인 이름을 공유할 수 있습니다.예를 들어 RDS 클러스터의 ARN을 사용하여 구성하려면 다음과 같이 하십시오:
출력에는 다음 단계에서 필요한 Resource-Configuration ARN이 포함됩니다. 또한 VPC 리소스로 ClickPipe connection을 설정하는 데 필요한 Resource-Configuration ID도 포함됩니다.
MSK multi-VPC connectivity
MSK 클러스터 정책을 업데이트하고 MSK 클러스터의 허용된 주체에
072088201116을 추가하십시오.
자세한 내용은 클러스터 정책 연결에 관한 AWS 가이드를 참조하십시오.VPC 엔드포인트 서비스
- 데이터 소스의 도메인 이름을 소유하지 않아 AWS에서 검증할 수 없는 경우
- Confluent Cloud처럼 공급자가 소비자에게 DNS 해석 관리를 요구하는 경우
- Private DNS 지원이 필요한 온프레미스 Kafka 설정
- Confluent Cloud 프라이빗 연결
- Postgres CDC를 위한 교차 리전 연결
- MSK 클러스터를 위한 교차 리전 연결
VPC 엔드포인트 서비스의 허용된 주체에 ClickPipes 계정 ID
072088201116을 추가하십시오.
자세한 내용은 권한 관리에 관한 AWS 가이드를 참조하십시오.ClickPipes용 교차 리전 액세스를
구성할 수 있습니다. VPC 엔드포인트 서비스의 허용된 리전에 ClickPipe 리전을 추가하십시오.
사용자 지정 Private DNS
사용자 지정 Private DNS는 비공개 프리뷰로 제공됩니다. 서비스에서 이 기능을 활성화하려면 ClickHouse 지원팀에 문의하십시오.
ClickHouse Cloud 콘솔은 현재 역방향 private 엔드포인트당 사용자 지정 Private DNS 이름을 하나만 지원합니다.
동일한 엔드포인트에서 여러 사용자 지정 Private DNS 이름을 관리해야 하는 경우 OpenAPI 또는 Terraform을 사용하십시오.
- 정확한 이름(
kafka.internal.example.com)과 와일드카드 이름(*.example.com)이 지원됩니다. 와일드카드는 단일 DNS 레이블과 일치합니다. 예를 들어*.abcde12345.us-east-1.aws.confluent.cloud는b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud와 일치합니다. - 와일드카드 이름과 정확한 이름 간의 중복을 포함해, 이름은 ClickHouse 서비스의 모든 역방향 private 엔드포인트에서 고유해야 합니다.
- 예약된 suffix(예:
local,localhost,internal,corp,private)를 사용하는 이름은 허용되지 않습니다.
- ClickHouse Cloud 콘솔에서 역방향 private 엔드포인트를 생성할 때
Custom private DNS name필드를 입력하십시오. 이 필드는 서비스에서 기능이 활성화된 후 표시됩니다. - OpenAPI를 사용하는 경우
역방향 private 엔드포인트를 생성할 때
customPrivateDnsMappings를 설정하거나 기존 엔드포인트를PATCH요청으로 업데이트하십시오. 업데이트하면 전체 매핑 목록이 대체되며, 빈 목록을 지정하면 모든 사용자 지정 이름이 제거됩니다. - Terraform을 사용하는 경우
clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns리소스를 사용하여 기존 역방향 private 엔드포인트의 매핑을 관리하십시오.
reverse private endpoint를 사용하여 ClickPipe 만들기
- ClickHouse Cloud 서비스의 SQL 콘솔에 액세스합니다.
- 왼쪽 메뉴에서
Data Sources버튼을 선택하고 “ClickPipe 설정”을 클릭합니다.
- 데이터 소스로 Kafka 또는 Postgres를 선택합니다.
Reverse private endpoint옵션을 선택합니다.
- 기존 reverse private endpoint를 선택하거나 새로 만듭니다.
RDS에 cross-region 액세스가 필요한 경우 VPC 엔드포인트 서비스를 생성해야 합니다. 설정을 시작하려면 이 가이드를 참고하십시오.동일 Region 내에서 액세스할 때는 VPC 리소스를 생성하는 방식을 권장합니다.
- 선택한 엔드포인트 유형에 필요한 매개변수를 입력합니다.
- VPC 리소스에는 구성 공유 ARN과 구성 ID를 입력합니다.
- MSK multi-VPC에는 클러스터 ARN과 생성된 엔드포인트에 사용할 인증 메서드를 입력합니다.
- VPC 엔드포인트 서비스에는 서비스 이름을 입력합니다.
- 필요에 따라 custom private DNS 이름을 입력합니다.
-
Create를 클릭하고 reverse private endpoint가 Ready 상태가 될 때까지 기다립니다. 새 엔드포인트를 만드는 경우 설정에 다소 시간이 걸립니다. 엔드포인트가 Ready 상태가 되면 페이지가 자동으로 새로 고쳐집니다. VPC 엔드포인트 서비스는 AWS 콘솔에서 연결 요청을 수락해야 할 수 있습니다.
- 엔드포인트가 Ready 상태가 되면 DNS 이름을 사용하여 데이터 소스에 연결할 수 있습니다. 엔드포인트 목록에서 사용 가능한 엔드포인트의 DNS 이름을 확인할 수 있습니다. 이 이름은 ClickPipes에서 내부적으로 프로비저닝한 DNS 이름, PrivateLink 서비스에서 제공하는 Private DNS 이름 또는 custom private DNS name일 수 있습니다. DNS 이름만으로는 완전한 네트워크 주소가 되지 않습니다. 데이터 소스에 맞는 포트를 추가하십시오. MSK connection string은 AWS 콘솔에서 확인할 수 있습니다. 전체 DNS 이름 목록은 Cloud 서비스 설정에서 확인할 수 있습니다.
Reverse Private Endpoint 관리
-
사이드바에서
Settings버튼을 찾아 클릭합니다. -
ClickPipe reverse private endpoints섹션에서Reverse private endpoints를 클릭합니다. 플라이아웃에 Reverse Private Endpoint의 상세 정보가 표시됩니다. 엔드포인트는 생성한 후 편집할 수 없습니다. 엔드포인트의×를 클릭하고 확인하면 삭제할 수 있습니다. 삭제하면 복구할 수 없으며, 해당 엔드포인트를 사용 중인 모든 ClickPipe가 중단됩니다.
지원되는 AWS 리전
제한 사항
비활성 엔드포인트 자동 정리
유예 기간이 지나면 엔드포인트와 연결된 모든 리소스가 자동으로 삭제됩니다.
자동 제거를 방지하려면 유예 기간이 만료되기 전에 근본 원인을 해결하십시오.
예를 들어 AWS 콘솔에서 대기 중인 연결 요청을 수락하거나,
엔드포인트가 실패 상태가 된 경우 다시 생성하십시오.