Руководство по настройке источника Azure Flexible Server for MySQL

В этом пошаговом руководстве показано, как настроить Azure Flexible Server for MySQL для репликации данных в ClickHouse Cloud с использованием MySQL ClickPipe. Для этого сервиса поддерживается только однократная ингестия. Ответы на распространённые вопросы по MySQL CDC смотрите на странице MySQL FAQs.

Примечание

Непрерывная ингестия через CDC не поддерживается для этого сервиса. Azure Flexible Server for MySQL не позволяет настроить системную переменную binlog_row_metadata в значение FULL, что требуется для полнофункциональной CDC для MySQL в ClickPipes.

Отправьте запрос на добавление этой возможности на форуме обратной связи Azure, проголосуйте за этот вопрос или свяжитесь со службой поддержки Azure, чтобы запросить эту возможность.

Настройте пользователя базы данных

Подключитесь к экземпляру Azure Flexible Server for MySQL от имени пользователя-администратора и выполните следующие команды:

1. Создайте отдельного пользователя для ClickPipes:

   CREATE USER 'clickpipes_user'@'%' IDENTIFIED BY 'some-password';
   

2. Назначьте привилегии для схемы. В следующем примере показаны привилегии для базы данных mysql. Повторите эти команды для каждой базы данных и хоста, которые вы хотите реплицировать:

   GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'%';
   

3. Примените изменения привилегий:

   FLUSH PRIVILEGES;
   

Настройте сетевой доступ

Примечание

ClickPipes не поддерживает подключения через Azure Private Link. Если вы не разрешаете публичный доступ к экземпляру Azure Flexible Server for MySQL, вы можете использовать SSH‑туннель для безопасного подключения. Поддержка Azure Private Link будет добавлена в будущем.

Далее необходимо разрешить подключения к вашему экземпляру Azure Flexible Server for MySQL из ClickPipes.

Разрешить IP‑адреса ClickPipes

1. В Azure Portal перейдите в All resources. Выберите свой экземпляр Azure Flexible Server for MySQL, чтобы открыть страницу Overview.

2. В разделе Settings выберите Networking. Убедитесь, что Public access включён.

3. В разделе Firewall rules введите список статических IP‑адресов ClickPipes для региона, в котором развернут ваш сервис.

   

4. Нажмите Save, чтобы сохранить изменения конфигурации сетевой безопасности.

Использовать SSH‑туннель

Если вы не разрешаете публичный доступ к экземпляру Azure Flexible Server for MySQL, сначала необходимо развернуть SSH‑бастион‑хост для безопасного туннелирования соединения. Чтобы настроить SSH‑бастион‑хост в Azure:

1. Создайте и запустите виртуальную машину Azure (VM), следуя официальной документации.

   • Убедитесь, что VM находится в той же виртуальной сети (VNet), что и ваш экземпляр Azure Flexible Server for MySQL, или в пиринговой VNet с настроенной связностью.
   • Убедитесь, что у VM есть статический публичный IP‑адрес. Этот IP‑адрес потребуется при подключении ClickPipes к вашему SSH‑бастион‑хосту.

2. Обновите правила группы безопасности сети (Network Security Group, NSG) для SSH‑бастион‑хоста, чтобы разрешить трафик из списка статических IP‑адресов ClickPipes для региона, в котором развернут ваш сервис.

3. Обновите правила брандмауэра для экземпляра Azure Flexible Server for MySQL, чтобы разрешить трафик от частного IP‑адреса SSH‑бастион‑хоста.

Что дальше?

Теперь вы можете создать ClickPipe и начать приём данных из экземпляра Azure Flexible Server for MySQL в ClickHouse Cloud. Обязательно сохраните параметры подключения, которые вы использовали при настройке экземпляра, так как они понадобятся вам в процессе создания ClickPipe.