AWS PrivateLink

​

Fuentes de datos compatibles con ClickPipes

• Kafka
• Postgres
• MySQL
• MongoDB

​

Tipos de endpoints de AWS PrivateLink compatibles

• Recurso de VPC
• Conectividad multi-VPC de MSK para ClickPipe de MSK
• Servicio de endpoint de VPC

​

Recurso de VPC

1. Cree una puerta de enlace de recursos
2. Cree una configuración de recursos
3. Cree un recurso compartido

aws vpc-lattice create-resource-gateway \
    --vpc-identifier <VPC_ID> \
    --subnet-ids <SUBNET_IDS> \
    --security-group-ids <SG_IDs> \
    --name <RESOURCE_GATEWAY_NAME>

aws vpc-lattice get-resource-gateway \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID>

aws vpc-lattice create-resource-configuration \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID> \
    --type <RESOURCE_CONFIGURATION_TYPE> \
    --resource-configuration-definition <RESOURCE_CONFIGURATION_DEFINITION> \
    --name <RESOURCE_CONFIGURATION_NAME>

aws vpc-lattice create-resource-configuration \
    --name my-rds-cluster-config \
    --type ARN \
    --resource-gateway-identifier rgw-0bba03f3d56060135 \
    --resource-configuration-definition 'arnResource={arn=arn:aws:rds:us-east-1:123456789012:cluster:my-rds-cluster}'

aws ram create-resource-share \
    --principals 072088201116 \
    --resource-arns <RESOURCE_CONFIGURATION_ARN> \
    --name <RESOURCE_SHARE_NAME>

​

Conectividad multi-VPC de MSK

​

Servicio de endpoint de VPC

• no eres propietario del nombre de dominio de tu fuente de datos, por lo que no puedes verificarlo con AWS
• el proveedor exige que los consumidores administren la resolución de DNS, como ocurre con Confluent Cloud En estos casos, consulta DNS privado personalizado.

• Cualquier configuración de Kafka on-premise que requiera compatibilidad con DNS privado
• Conectividad privada de Confluent Cloud
• Conectividad entre regiones para Postgres CDC
• Conectividad entre regiones para clústeres de MSK

​

DNS privado personalizado

• Se admiten nombres exactos (kafka.internal.example.com) y nombres comodín (*.example.com). Un comodín coincide con una sola etiqueta de DNS; por ejemplo, *.abcde12345.us-east-1.aws.confluent.cloud coincide con b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud.
• Los nombres deben ser únicos en todos los endpoints privados inversos de un servicio de ClickHouse, incluidos los solapamientos entre nombres comodín y nombres exactos.
• Se rechazan los nombres con sufijos reservados (por ejemplo, local, localhost, internal, corp, private).

• En la consola de ClickHouse Cloud, rellena el campo Custom private DNS name al crear un endpoint privado inverso. El campo aparece una vez que la funcionalidad está habilitada en tu servicio.
• Con OpenAPI, establece customPrivateDnsMappings al crear un endpoint privado inverso o actualiza uno existente mediante una solicitud PATCH. Las actualizaciones reemplazan la lista completa de asignaciones; una lista vacía elimina todos los nombres personalizados.
• Con Terraform, usa el recurso clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns para administrar asignaciones en un endpoint privado inverso existente.

​

Crear un ClickPipe con un endpoint privado inverso

1. Acceda a SQL Console de su servicio de ClickHouse Cloud.

2. Seleccione el botón fuente de datos en el menú lateral izquierdo y haga clic en “Configurar un ClickPipe”.

3. Seleccione Kafka o Postgres como fuente de datos.

4. Seleccione la opción Reverse private endpoint.

5. Seleccione uno de los endpoints privados inversos existentes o cree uno nuevo.

6. Proporcione los parámetros necesarios para el tipo de endpoint seleccionado.

• Para un recurso de VPC, proporcione el ARN del recurso compartido de configuración y el ID de configuración.
  • Para MSK multi-VPC, proporcione el ARN del cluster y el método de autenticación utilizado con un endpoint creado.
  • Para un servicio de endpoint de VPC, proporcione el nombre del servicio.
  • De forma opcional, proporcione un nombre DNS privado personalizado.

7. Haga clic en Create y espere a que el endpoint privado inverso esté listo. Si está creando un endpoint nuevo, la configuración tardará un tiempo. La página se actualizará automáticamente cuando el endpoint esté listo. Es posible que el servicio de endpoint de VPC requiera que acepte la solicitud de conexión en la consola de AWS.

8. Cuando el endpoint esté listo, podrá usar un nombre DNS para conectarse a la fuente de datos. En la lista de endpoints, puede consultar el nombre DNS del endpoint disponible. Puede ser un nombre DNS aprovisionado internamente por ClickPipes, un nombre DNS privado proporcionado por un servicio PrivateLink o un nombre DNS privado personalizado. El nombre DNS no es una dirección de red completa. Añada el puerto correspondiente según la fuente de datos. Puede consultar la cadena de conexión de MSK en la consola de AWS. Para ver la lista completa de nombres DNS, acceda a la configuración del servicio Cloud.

​

Administración de endpoints privados inversos

1. En la barra lateral, busque el botón Settings y haga clic en él.
2. Haga clic en Reverse private endpoints en la sección ClickPipe reverse private endpoints. La información detallada del endpoint privado inverso se muestra en el panel lateral. No se puede editar un endpoint después de crearlo. Puede eliminarlo haciendo clic en la × del endpoint y confirmando la acción; la eliminación es permanente e interrumpe cualquier ClickPipe que esté utilizando ese endpoint.

​

Regiones de AWS compatibles

​

Limitaciones

​

Límite de réplicas por endpoint privado inverso

• Reducir la escala de otros ClickPipes que usen el mismo endpoint.
• Crear un endpoint privado inverso independiente para los ClickPipes adicionales.

​

Limpieza automática de endpoints inactivos