Интеграция MySQL с ClickHouse

На этой странице рассматривается использование табличного движка MySQL для чтения данных из таблицы MySQL.

Примечание

В ClickHouse Cloud вы также можете использовать MySQL ClickPipe (в настоящее время в режиме публичного бета-тестирования), чтобы упростить перенос данных из ваших таблиц MySQL в ClickHouse.

Подключение ClickHouse к MySQL с использованием табличного движка MySQL

Табличный движок MySQL позволяет подключить ClickHouse к MySQL. Операторы SELECT и INSERT могут выполняться как из ClickHouse, так и непосредственно в таблице MySQL. В этой статье рассмотрены базовые способы использования табличного движка MySQL.

1. Настройка MySQL

1. Создайте базу данных в MySQL:

  CREATE DATABASE db1;

2. Создайте таблицу:

  CREATE TABLE db1.table1 (
    id INT,
    column1 VARCHAR(255)
  );

3. Добавьте несколько строк‑примеров:

  INSERT INTO db1.table1
    (id, column1)
  VALUES
    (1, 'abc'),
    (2, 'def'),
    (3, 'ghi');

4. Создайте пользователя для подключения к ClickHouse:

  CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'Password123!';

5. Предоставьте необходимые привилегии. (В демонстрационных целях пользователю mysql_clickhouse назначаются административные привилегии.)

  GRANT ALL PRIVILEGES ON *.* TO 'mysql_clickhouse'@'%';

Примечание

Если вы используете эту возможность в ClickHouse Cloud, возможно, вам потребуется разрешить IP-адресам ClickHouse Cloud доступ к вашему экземпляру MySQL. Обратитесь к ClickHouse Cloud Endpoints API для получения сведений об исходящем трафике.

2. Определите таблицу в ClickHouse

1. Теперь давайте создадим таблицу ClickHouse, которая использует табличный движок MySQL:

  CREATE TABLE mysql_table1 (
    id UInt64,
    column1 String
  )
  ENGINE = MySQL('mysql-host.domain.com','db1','table1','mysql_clickhouse','Password123!')

Минимальный набор параметров:

parameter	Description	example
host	имя хоста или IP	mysql-host.domain.com
database	имя базы данных MySQL	db1
table	имя таблицы MySQL	table1
user	имя пользователя для подключения к MySQL	mysql_clickhouse
password	пароль для подключения к MySQL	Password123!

Примечание

См. страницу документации MySQL table engine для полного списка параметров.

3. Протестируйте интеграцию

1. В MySQL вставьте пример строки:

  INSERT INTO db1.table1
    (id, column1)
  VALUES
    (4, 'jkl');

2. Обратите внимание, что таблица ClickHouse теперь содержит существующие строки из таблицы MySQL, а также новую строку, которую вы только что добавили:

  SELECT
      id,
      column1
  FROM mysql_table1

Должны отобразиться 4 строки:

  Query id: 6d590083-841e-4e95-8715-ef37d3e95197

  ┌─id─┬─column1─┐
  │  1 │ abc     │
  │  2 │ def     │
  │  3 │ ghi     │
  │  4 │ jkl     │
  └────┴─────────┘

  4 rows in set. Elapsed: 0.044 sec.

3. Добавим строку в таблицу ClickHouse:

  INSERT INTO mysql_table1
    (id, column1)
  VALUES
    (5,'mno')

4. Обратите внимание, что в MySQL появилась новая запись:

  mysql> select id,column1 from db1.table1;

Теперь вы должны увидеть новую строку:

  +------+---------+
  | id   | column1 |
  +------+---------+
  |    1 | abc     |
  |    2 | def     |
  |    3 | ghi     |
  |    4 | jkl     |
  |    5 | mno     |
  +------+---------+
  5 rows in set (0.01 sec)

Краткое содержание

Движок таблицы MySQL позволяет подключить ClickHouse к MySQL для двустороннего обмена данными. Подробности смотрите на странице документации по движку таблицы MySQL.