Conectando o ClickHouse Cloud ao Azure Blob Storage

Este guia mostra como conectar com segurança o ClickHouse Cloud ao Azure Blob Storage para ingestão de dados, tabelas externas e outros cenários de integração.

Visão geral

O ClickHouse Cloud pode se conectar ao Azure Blob Storage usando vários métodos de autenticação. Este guia ajudará você a escolher a abordagem certa e configurar sua conexão com segurança. Casos de uso compatíveis:

Leitura de dados do Azure Blob Storage usando a função de tabela azureBlobStorage
Criação de tabelas externas com o motor de tabela AzureBlobStorage
Ingestão de dados via ClickPipes
Armazenamento de backups no Azure Blob Storage

Importante: limitação de redeQuando seu serviço ClickHouse Cloud e o contêiner do Azure Blob Storage são implantados na mesma região do Azure, a lista de permissões de endereços IP não funciona.Isso acontece porque o Azure roteia o tráfego na mesma região por sua rede interna (VNet + Service Endpoints), sem passar pela internet pública nem pelos gateways NAT. Como resultado, as regras de firewall da sua conta de armazenamento do Azure baseadas em endereços IP públicos não serão aplicadas.A lista de permissões de IP funciona quando:

Seu serviço ClickHouse Cloud está em uma região do Azure diferente da conta de armazenamento
Seu serviço ClickHouse Cloud está na AWS/GCP e se conecta ao armazenamento do Azure

A lista de permissões de IP falha quando:

Seu serviço ClickHouse Cloud e o armazenamento estão na mesma região do Azure. Use Shared Access Signatures (SAS) por meio da string de conexão em vez da lista de permissões de IP ou implante o ABS e o ClickHouse em regiões diferentes.

Configuração de rede (somente entre regiões)

Somente entre regiõesEsta seção se aplica somente quando seu serviço ClickHouse Cloud e o contêiner do Azure Blob Storage estão em regiões diferentes do Azure, ou quando o ClickHouse Cloud está na AWS/GCP. Para implantações na mesma região, use tokens SAS.

Encontre os IPs de saída do seu ClickHouse Cloud

Para configurar regras de firewall baseadas em IP, você precisa adicionar à lista de permissões os endereços IP de saída da sua região do ClickHouse Cloud.Execute o comando a seguir para obter uma lista de IPs de saída e entrada por região. Substitua eastus abaixo pela sua região para filtrar as demais regiões:

# Para regiões do Azure
curl https://api.clickhouse.cloud/static-ips.json | jq '.azure[] | select(.region == "westus")'

Você verá algo semelhante a:

{
  "egress_ips": [
    "20.14.94.21",
    "20.150.217.205",
    "20.38.32.164"
  ],
  "ingress_ips": [
    "4.227.34.126"
  ],
  "region": "westus3"
}

Consulte Regiões do Azure para ver uma lista das regiões do Cloud compatíveis e a coluna “Programmatic name” da lista de regiões do Azure para saber qual nome usar.

Consulte “Endereços IP do Cloud” para mais detalhes.

Configure o firewall de armazenamento do Azure

Acesse sua Conta de Armazenamento no Azure Portal

Vá para Networking → Firewalls and virtual networks
Selecione Enabled from selected virtual networks and IP addresses
Adicione cada endereço IP de saída do ClickHouse Cloud obtido na etapa anterior ao campo Address range

Não adicione IPs privados do ClickHouse Cloud (endereços 10.x.x.x)

Clique em Save

Consulte a documentação de configuração de firewalls do Azure Storage para mais detalhes.

Configuração do ClickPipes

Ao usar ClickPipes com o Azure Blob Storage, é necessário configurar a autenticação na UI do ClickPipes. Consulte “Criando seu primeiro Azure ClickPipe” para mais detalhes.

O ClickPipes usa endereços IP estáticos separados para conexões de saída. Esses IPs devem ser adicionados à lista de permissões se você estiver usando regras de firewall baseadas em IP.Consulte “Lista de IPs estáticos”

A limitação da lista de permissões de IP na mesma região, mencionada no início deste documento, também se aplica ao ClickPipes. Se o seu serviço do ClickPipes e o Azure Blob Storage estiverem na mesma região, use autenticação com token SAS em vez da lista de permissões de IP.

​Visão geral

​Configuração de rede (somente entre regiões)

​Configuração do ClickPipes

Visão geral

Configuração de rede (somente entre regiões)

Configuração do ClickPipes