Conectar ClickHouse Cloud a Azure Blob Storage

Esta guía explica cómo conectar de forma segura ClickHouse Cloud a Azure Blob Storage para la ingestión de datos, tablas externas y otros escenarios de integración.

Descripción general

ClickHouse Cloud puede conectarse a Azure Blob Storage mediante varios métodos de autenticación. Esta guía le ayudará a elegir el enfoque adecuado y a configurar la conexión de forma segura. Casos de uso compatibles:

Lectura de datos desde Azure Blob Storage mediante la función de tabla azureBlobStorage
Creación de tablas externas con el motor de tabla AzureBlobStorage
Ingesta de datos mediante ClickPipes
Almacenamiento de copias de seguridad en Azure Blob Storage

Limitación importante de redCuando su servicio de ClickHouse Cloud y el contenedor de Azure Blob Storage se implementan en la misma región de Azure, la inclusión de direcciones IP en listas de permitidos no funciona.Esto ocurre porque Azure enruta el tráfico de la misma región a través de su red interna (VNet + Service Endpoints), omitiendo la internet pública y los gateways NAT. Como resultado, las reglas de firewall de su cuenta de almacenamiento de Azure basadas en direcciones IP públicas no se aplicarán.La inclusión de IP en listas de permitidos funciona cuando:

Su servicio de ClickHouse Cloud está en una región de Azure distinta de la cuenta de almacenamiento
Su servicio de ClickHouse Cloud está en AWS/GCP y se conecta al almacenamiento de Azure

La inclusión de IP en listas de permitidos falla cuando:

Su servicio de ClickHouse Cloud y el almacenamiento están en la misma región de Azure. Use firmas de acceso compartido (SAS) mediante una cadena de conexión en lugar de la inclusión de IP en listas de permitidos, o implemente ABS y ClickHouse en regiones distintas.

Configuración de red (solo entre regiones)

Solo entre regionesEsta sección se aplica solo cuando su servicio de ClickHouse Cloud y el contenedor de Azure Blob Storage están en regiones de Azure distintas, o cuando ClickHouse Cloud está en AWS/GCP. Para implementaciones en la misma región, use tokens SAS en su lugar.

Encuentre las IP de salida de ClickHouse Cloud

Para configurar reglas de firewall basadas en IP, debe agregar a la lista de permitidos las direcciones IP de salida de su región de ClickHouse Cloud.Ejecute el siguiente comando para obtener una lista de IP de salida y de entrada por región. Sustituya eastus a continuación por su región para filtrar las demás regiones:

# Para regiones de Azure
curl https://api.clickhouse.cloud/static-ips.json | jq '.azure[] | select(.region == "westus")'

Verá algo similar a:

{
  "egress_ips": [
    "20.14.94.21",
    "20.150.217.205",
    "20.38.32.164"
  ],
  "ingress_ips": [
    "4.227.34.126"
  ],
  "region": "westus3"
}

Consulte regiones de Azure para ver una lista de regiones de Cloud compatibles, y la columna “Nombre programático” de la lista de regiones de Azure para saber qué nombre debe usar.

Consulte “Direcciones IP de Cloud” para obtener más detalles.

Configure el firewall de Azure Storage

Vaya a su Storage Account en Azure Portal

Vaya a Networking → Firewalls and virtual networks
Seleccione Enabled from selected virtual networks and IP addresses
Añada cada dirección IP de salida de ClickHouse Cloud obtenida en el paso anterior al campo Address range

No añada IP privadas de ClickHouse Cloud (direcciones 10.x.x.x)

Haga clic en Save

Consulte la documentación para configurar firewalls de Azure Storage para obtener más detalles.

Configuración de ClickPipes

Al usar ClickPipes con Azure Blob Storage, debes configurar la autenticación en la UI de ClickPipes. Consulta “Crear tu primer Azure ClickPipe” para obtener más información.

ClickPipes usa direcciones IP estáticas independientes para las conexiones salientes. Estas IP deben incluirse en la lista de permitidos si usas reglas de firewall basadas en IP.Consulta “Lista de IP estáticas”

La limitación de la inclusión de IP en listas de permitidos dentro de la misma región mencionada al inicio de este documento también se aplica a ClickPipes. Si tu servicio de ClickPipes y Azure Blob Storage están en la misma región, usa autenticación con token SAS en lugar de la inclusión de IP en listas de permitidos.

​Descripción general

​Configuración de red (solo entre regiones)

​Configuración de ClickPipes

Descripción general

Configuración de red (solo entre regiones)

Configuración de ClickPipes