Consulte las regiones de AWS compatibles antes de comenzar.
Fuentes de datos compatibles con ClickPipes
- Kafka
- Postgres
- MySQL
- MongoDB
En el caso de Kafka, se puede acceder a un registro de esquemas compatible con Confluent a través del mismo endpoint privado inverso que los brókeres; no es necesario que sea accesible públicamente, siempre que su nombre del host se resuelva en las direcciones IP privadas del endpoint.
Tipos de endpoints de AWS PrivateLink compatibles
Recurso de VPC
No se admite el acceso entre regiones.
- Cree una puerta de enlace de recursos
- Cree una configuración de recursos
- Cree un recurso compartido
1
Crear un gateway de recursos
La gateway de recursos es el punto que recibe tráfico para los recursos especificados en su VPC.Puede crear una gateway de recursos desde la consola de AWS o con el siguiente comando:La salida contendrá un ID del gateway de recursos, que necesitará en el siguiente paso.Antes de continuar, deberá esperar a que el gateway de recursos alcance el estado
Se recomienda que las subredes asociadas a la gateway de recursos dispongan de suficientes direcciones IP.
Se recomienda una máscara de subred de al menos
/26 para cada subred.Para cada endpoint de VPC (cada Reverse Private Endpoint), AWS requiere un bloque contiguo de 16 direcciones IP por subred (máscara de subred /28).
Si no se cumple este requisito, Reverse Private Endpoint pasará al estado Failed.Active. Puede comprobar su estado ejecutando el siguiente comando:2
Crear una configuración de recursos de VPC
La configuración de recursos se asocia a la gateway de recursos para que el recurso sea accesible.Puede crear una configuración de recursos desde la consola de AWS o mediante el siguiente comando:El tipo de configuración de recurso más sencillo consiste en una única Resource-Configuration. Puede configurarla directamente con el ARN o compartir una dirección IP o un nombre de dominio que pueda resolverse públicamente.Por ejemplo, para configurar una Resource-Configuration con el ARN de un clúster de RDS:La salida incluirá un ARN de configuración de recurso, que necesitará para el siguiente paso. También incluirá un ID de configuración de recurso, que necesitará para configurar una conexión de ClickPipe con un recurso de VPC.
No puede crear una configuración de recurso para un clúster de acceso público.
Si su clúster es de acceso público, debe modificarlo
para que sea privado antes de crear la configuración de recurso
o usar la lista de IP permitidas.
Para obtener más información, consulte la documentación de AWS.
Conectividad multi-VPC de MSK
Actualiza la política de tu clúster de MSK y añade
072088201116 a los principales permitidos.
Consulta la guía de AWS para asociar una política de clúster para obtener más información.Servicio de endpoint de VPC
- no eres propietario del nombre de dominio de tu fuente de datos, por lo que no puedes verificarlo con AWS
- el proveedor exige que los consumidores administren la resolución de DNS, como ocurre con Confluent Cloud En estos casos, consulta DNS privado personalizado.
- Cualquier configuración de Kafka on-premise que requiera compatibilidad con DNS privado
- Conectividad privada de Confluent Cloud
- Conectividad entre regiones para Postgres CDC
- Conectividad entre regiones para clústeres de MSK
Agrega el ID de cuenta de ClickPipes
072088201116 a los principales permitidos de tu servicio de endpoint de VPC.
Consulta la guía de AWS sobre administración de permisos para obtener más información.El acceso entre regiones
puede configurarse para ClickPipes. Agrega tu región de ClickPipe a las regiones autorizadas de tu servicio de endpoint de VPC.
DNS privado personalizado
El DNS privado personalizado se encuentra en vista previa privada. Ponte en contacto con el equipo de soporte de ClickHouse para habilitarlo en tu servicio.
Actualmente, la consola de ClickHouse Cloud admite un nombre de DNS privado personalizado por endpoint privado inverso.
Si necesitas administrar varios nombres de DNS privado personalizados en el mismo endpoint, usa OpenAPI o Terraform.
- Se admiten nombres exactos (
kafka.internal.example.com) y nombres comodín (*.example.com). Un comodín coincide con una sola etiqueta de DNS; por ejemplo,*.abcde12345.us-east-1.aws.confluent.cloudcoincide conb0-lkc123.abcde12345.us-east-1.aws.confluent.cloud. - Los nombres deben ser únicos en todos los endpoints privados inversos de un servicio de ClickHouse, incluidos los solapamientos entre nombres comodín y nombres exactos.
- Se rechazan los nombres con sufijos reservados (por ejemplo,
local,localhost,internal,corp,private).
- En la consola de ClickHouse Cloud, rellena el campo
Custom private DNS nameal crear un endpoint privado inverso. El campo aparece una vez que la funcionalidad está habilitada en tu servicio. - Con OpenAPI, establece
customPrivateDnsMappingsal crear un endpoint privado inverso o actualiza uno existente mediante una solicitudPATCH. Las actualizaciones reemplazan la lista completa de asignaciones; una lista vacía elimina todos los nombres personalizados. - Con Terraform, usa el recurso
clickhouse_clickpipes_reverse_private_endpoint_custom_private_dnspara administrar asignaciones en un endpoint privado inverso existente.
Crear un ClickPipe con un endpoint privado inverso
- Acceda a SQL Console de su servicio de ClickHouse Cloud.
- Seleccione el botón
fuente de datosen el menú lateral izquierdo y haga clic en “Configurar un ClickPipe”.
- Seleccione Kafka o Postgres como fuente de datos.
- Seleccione la opción
Reverse private endpoint.
- Seleccione uno de los endpoints privados inversos existentes o cree uno nuevo.
Si necesita acceso entre regiones para RDS, debe crear un servicio de endpoint de VPC, y
esta guía ofrece un buen punto de partida para configurarlo.Para el acceso dentro de la misma región, se recomienda crear un recurso de VPC.
- Proporcione los parámetros necesarios para el tipo de endpoint seleccionado.
- Para un recurso de VPC, proporcione el ARN del recurso compartido de configuración y el ID de configuración.
- Para MSK multi-VPC, proporcione el ARN del cluster y el método de autenticación utilizado con un endpoint creado.
- Para un servicio de endpoint de VPC, proporcione el nombre del servicio.
- De forma opcional, proporcione un nombre DNS privado personalizado.
-
Haga clic en
Createy espere a que el endpoint privado inverso esté listo. Si está creando un endpoint nuevo, la configuración tardará un tiempo. La página se actualizará automáticamente cuando el endpoint esté listo. Es posible que el servicio de endpoint de VPC requiera que acepte la solicitud de conexión en la consola de AWS.
- Cuando el endpoint esté listo, podrá usar un nombre DNS para conectarse a la fuente de datos. En la lista de endpoints, puede consultar el nombre DNS del endpoint disponible. Puede ser un nombre DNS aprovisionado internamente por ClickPipes, un nombre DNS privado proporcionado por un servicio PrivateLink o un nombre DNS privado personalizado. El nombre DNS no es una dirección de red completa. Añada el puerto correspondiente según la fuente de datos. Puede consultar la cadena de conexión de MSK en la consola de AWS. Para ver la lista completa de nombres DNS, acceda a la configuración del servicio Cloud.
Administración de endpoints privados inversos
-
En la barra lateral, busque el botón
Settingsy haga clic en él. -
Haga clic en
Reverse private endpointsen la secciónClickPipe reverse private endpoints. La información detallada del endpoint privado inverso se muestra en el panel lateral. No se puede editar un endpoint después de crearlo. Puede eliminarlo haciendo clic en la×del endpoint y confirmando la acción; la eliminación es permanente e interrumpe cualquier ClickPipe que esté utilizando ese endpoint.
Regiones de AWS compatibles
Limitaciones
Limpieza automática de endpoints inactivos
Una vez transcurrido el período de gracia, el endpoint y todos los recursos asociados se eliminan automáticamente.
Para evitar la eliminación automática, resuelva el problema subyacente antes de que expire el período de gracia.
Por ejemplo, acepte una solicitud de conexión pendiente en la consola de AWS
o vuelva a crear el endpoint si ha pasado al estado Failed.