Перейти к основному содержимому
Перейти к основному содержимому

Прием данных из MySQL в ClickHouse с использованием CDC

Beta feature. Learn more.
к сведению

В настоящее время прием данных из MySQL в ClickHouse Cloud через ClickPipes находится на этапе частного предпросмотра.

Вы можете использовать ClickPipes для приема данных из вашей исходной базы данных MySQL в ClickHouse Cloud. Исходная база данных MySQL может быть размещена на месте или в облаке.

Предварительные условия​

Чтобы начать, вам сначала необходимо убедиться, что ваша база данных MySQL настроена правильно. В зависимости от вашей исходной инстанции MySQL вы можете следовать любому из следующих руководств:

  1. Amazon RDS MySQL

  2. Amazon Aurora MySQL

  3. Cloud SQL для MySQL

  4. Amazon RDS MariaDB

После настройки вашей исходной базы данных MySQL вы можете продолжить создавать ваш ClickPipe.

Создайте ваш ClickPipe​

Убедитесь, что вы вошли в свой аккаунт ClickHouse Cloud. Если у вас еще нет аккаунта, вы можете зарегистрироваться здесь.

  1. В консоли ClickHouse Cloud перейдите к вашему сервису ClickHouse Cloud.
  1. Выберите кнопку Источники данных в меню слева и нажмите на "Настроить ClickPipe"
  1. Выберите плитку MySQL CDC

Добавьте соединение с вашей исходной базой данных MySQL​

  1. Заполните данные соединения для вашей исходной базы данных MySQL, которые вы настроили на этапе предварительных условий.

    к сведению

    Перед добавлением ваших данных соединения убедитесь, что вы добавили IP-адреса ClickPipes в белый список в правилах вашего брандмауэра. На следующей странице вы можете найти список IP-адресов ClickPipes. Для получения дополнительной информации обратитесь к руководствам по настройке исходного MySQL, связанным с верхней частью этой страницы.

(Необязательно) Настройка SSH-туннелирования​

Вы можете указать детали SSH-туннелирования, если ваша исходная база данных MySQL недоступна публично.

  1. Включите переключатель "Использовать SSH-туннелирование".

  2. Заполните данные соединения SSH.

  3. Чтобы использовать аутентификацию на основе ключа, нажмите "Отозвать и сгенерировать пару ключей", чтобы сгенерировать новую пару ключей, и скопируйте сгенерированный открытый ключ на ваш SSH-сервер в ~/.ssh/authorized_keys.

  4. Нажмите "Проверить соединение", чтобы проверить соединение.

примечание

Убедитесь, что вы добавили в белый список IP-адреса ClickPipes в правилах вашего брандмауэра для SSH-бастиона, чтобы ClickPipes мог установить SSH-туннель.

После заполнения данных соединения нажмите "Далее".

Настройка расширенных параметров​

Вы можете настроить расширенные параметры, если это необходимо. Краткое описание каждого параметра приведено ниже:

  • Интервал синхронизации: Это интервал, с которым ClickPipes будет опрашивать исходную базу данных на предмет изменений. Это влияет на сервис ClickHouse назначения, для пользователей, чувствительных к затратам, мы рекомендуем держать это значение выше 3600.
  • Параллельные потоки для начальной загрузки: Это количество параллельных рабочих процессов, которые будут использоваться для получения начального снимка. Это полезно, когда у вас есть большое количество таблиц и вы хотите контролировать количество параллельных рабочих процессов, используемых для получения начального снимка. Этот параметр применяется к каждой таблице.
  • Размер партии для извлечения: Количество строк для извлечения за один раз. Это настройка с наилучшей попыткой и может не соблюдаться во всех случаях.
  • Количество строк снимка на партицию: Это количество строк, которое будет извлечено в каждой партиции во время начального снимка. Это полезно, когда у вас есть большое количество строк в ваших таблицах и вы хотите контролировать количество строк, извлекаемых в каждой партиции.
  • Количество таблиц для извлечения параллельно: Это количество таблиц, которые будут извлечены параллельно во время начального снимка. Это полезно, когда у вас есть большое количество таблиц и вы хотите контролировать количество таблиц, извлекаемых параллельно.

Настройка таблиц​

  1. Здесь вы можете выбрать целевую базу данных для вашего ClickPipe. Вы можете выбрать существующую базу данных или создать новую.

  2. Вы можете выбрать таблицы, которые хотите реплицировать из исходной базы данных MySQL. При выборе таблиц вы также можете переименовать таблицы в целевой базе данных ClickHouse, а также исключить определенные колонки.

Проверьте разрешения и начните ClickPipe​

  1. Выберите роль "Полный доступ" из выпадающего списка разрешений и нажмите "Завершить настройку".

Наконец, пожалуйста, обратитесь к странице "Часто задаваемые вопросы по ClickPipes для MySQL" для получения дополнительной информации о распространенных проблемах и о том, как их разрешить.