Подключение ClickHouse Cloud к Azure Blob Storage

В этом руководстве рассказывается, как безопасно подключить ClickHouse Cloud к Azure Blob Storage для приёма данных, внешних таблиц и других сценариев интеграции.

Обзор

ClickHouse Cloud может подключаться к Azure Blob Storage с помощью нескольких методов аутентификации. Это руководство поможет вам выбрать подходящий вариант и безопасно настроить подключение. Поддерживаемые сценарии:

Чтение данных из Azure Blob Storage с помощью табличной функции azureBlobStorage
Создание внешних таблиц с помощью движка таблицы AzureBlobStorage
Ингестия данных через ClickPipes
Хранение резервных копий в Azure Blob Storage

Важное ограничение сетиЕсли ваш сервис ClickHouse Cloud и контейнер Azure Blob Storage развернуты в одном регионе Azure, белый список IP-адресов не работает.Это связано с тем, что Azure направляет трафик внутри одного региона через свою внутреннюю сеть (VNet + Service Endpoints), в обход публичного интернета и NAT-шлюзов. В результате правила брандмауэра Azure Storage Account, основанные на публичных IP-адресах, применяться не будут.Белый список IP-адресов работает, если:

ваш сервис ClickHouse Cloud находится в другом регионе Azure, чем storage account
ваш сервис ClickHouse Cloud работает в AWS/GCP и подключается к хранилищу Azure

Белый список IP-адресов не работает, если:

ваш сервис ClickHouse Cloud и хранилище находятся в одном регионе Azure. Используйте Shared Access Signatures (SAS) через connection string вместо белого списка IP-адресов или разверните ABS и ClickHouse в разных регионах.

Сетевая конфигурация (только для кросс-региональных сценариев)

Только для разных регионовЭтот раздел применим только в том случае, если ваш сервис ClickHouse Cloud и Container Azure Blob Storage находятся в разных регионах Azure, либо если ClickHouse Cloud работает в AWS/GCP. Для развертываний в одном регионе используйте токены SAS.

Найдите исходящие IP-адреса ClickHouse Cloud

Чтобы настроить правила брандмауэра на основе IP-адресов, нужно добавить в список разрешенных исходящие IP-адреса для вашего региона ClickHouse Cloud.Выполните следующую команду, чтобы получить список исходящих и входящих IP-адресов по регионам. Замените eastus ниже на ваш регион, чтобы отфильтровать остальные регионы:

# Для регионов Azure
curl https://api.clickhouse.cloud/static-ips.json | jq '.azure[] | select(.region == "westus")'

Вы увидите примерно следующее:

{
  "egress_ips": [
    "20.14.94.21",
    "20.150.217.205",
    "20.38.32.164"
  ],
  "ingress_ips": [
    "4.227.34.126"
  ],
  "region": "westus3"
}

См. регионы Azure со списком поддерживаемых регионов Cloud, а также столбец “Programmatic name” в списке регионов Azure , чтобы определить, какое имя использовать.

Подробнее см. в разделе “Cloud IP addresses”.

Настройте брандмауэр хранилища Azure

Перейдите к своему storage account в Azure Portal

Откройте Networking → Firewalls and virtual networks
Выберите Enabled from selected virtual networks and IP addresses
Добавьте каждый исходящий IP-адрес ClickHouse Cloud, полученный на предыдущем шаге, в поле Address range

Не добавляйте частные IP-адреса ClickHouse Cloud (адреса 10.x.x.x)

Нажмите Save

Подробнее см. в документации по настройке брандмауэра Azure Storage.

Конфигурация ClickPipes

При использовании ClickPipes с Azure Blob Storage необходимо настроить аутентификацию в интерфейсе ClickPipes. Подробнее см. в разделе “Создание первого Azure ClickPipe”.

ClickPipes использует отдельные статические IP-адреса для исходящих соединений. Если вы используете правила брандмауэра на основе IP, эти адреса необходимо добавить в список разрешённых.См. “Список статических IP-адресов”

Упомянутое в начале этого документа ограничение на внесение IP-адресов в белый список в пределах одного региона также относится к ClickPipes. Если ваш сервис ClickPipes и Azure Blob Storage находятся в одном регионе, используйте аутентификацию по SAS-токену вместо внесения IP-адресов в белый список.

​Обзор

​Сетевая конфигурация (только для кросс-региональных сценариев)

​Конфигурация ClickPipes

Обзор

Сетевая конфигурация (только для кросс-региональных сценариев)

Конфигурация ClickPipes