Skip to main content
BladePipe — это инструмент для сквозной интеграции данных в реальном времени с задержкой менее секунды, обеспечивающий бесперебойную передачу данных между платформами. ClickHouse — один из готовых коннекторов BladePipe, который позволяет автоматически загружать данные из различных источников в ClickHouse. На этой странице показано, как шаг за шагом загружать данные в ClickHouse в реальном времени.

​
Поддерживаемые источники

В настоящее время BladePipe поддерживает интеграцию данных в ClickHouse из следующих источников:
  • MySQL/MariaDB/AuroraMySQL
  • Oracle
  • PostgreSQL/AuroraPostgreSQL
  • MongoDB
  • Kafka
  • PolarDB-MySQL
  • OceanBase
  • TiDB
В будущем список поддерживаемых источников будет расширен.
1

Скачивание и запуск BladePipe

  1. Войдите в BladePipe Cloud.
  2. Следуйте инструкциям в Install Worker (Docker) или Install Worker (Binary), чтобы скачать и установить воркер BladePipe.
Либо вы можете скачать и развернуть BladePipe Enterprise.
2

Добавьте ClickHouse в качестве целевого назначения

  1. BladePipe поддерживает ClickHouse версии 20.12.3.3 и выше.
  2. Чтобы использовать ClickHouse в качестве целевого назначения, убедитесь, что у пользователя есть разрешения SELECT, INSERT и базовые DDL-разрешения.
  1. В BladePipe нажмите “Источник данных” > “Добавить источник данных”.
  2. Выберите ClickHouse, затем заполните настройки: укажите хост и порт ClickHouse, имя пользователя и пароль, после чего нажмите “Проверить соединение”.
  3. Нажмите “Добавить источник данных” внизу страницы — экземпляр ClickHouse будет добавлен.
3

Добавление MySQL в качестве источника

В этом руководстве мы используем экземпляр MySQL в качестве источника и покажем, как загрузить данные из MySQL в ClickHouse.
Чтобы использовать MySQL в качестве источника, убедитесь, что у пользователя есть необходимые разрешения.
  1. В BladePipe нажмите “DataSource” > “Add DataSource”.
  2. Выберите MySQL, заполните настройки, указав хост и порт MySQL, имя пользователя и пароль, затем нажмите “Test Connection”.
  3. Нажмите внизу “Add DataSource”, и экземпляр MySQL будет добавлен.
4

Создайте конвейер

  1. В BladePipe нажмите “DataJob” > “Create DataJob”.
  2. Выберите добавленные экземпляры MySQL и ClickHouse и нажмите “Test Connection”, чтобы убедиться, что BladePipe подключён к ним. Затем выберите базы данных, которые нужно перенести.
  3. В качестве типа DataJob выберите “Incremental” вместе с опцией “Full Data”.
  4. Выберите таблицы для репликации.
  5. Выберите столбцы для репликации.
  6. Подтвердите создание DataJob — он запустится автоматически.
5

Проверьте данные

  1. Остановите запись данных в экземпляре MySQL и дождитесь, пока ClickHouse завершит слияние данных.
Из-за непредсказуемости времени автоматического слияния в ClickHouse вы можете вручную запустить слияние, выполнив команду OPTIMIZE TABLE xxx FINAL;. Обратите внимание, что такое слияние, запущенное вручную, не всегда может завершиться успешно.Либо можно выполнить команду CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;, чтобы создать представление, и затем выполнять запросы к нему, чтобы убедиться, что данные полностью слиты.
  1. Создайте Verification DataJob. После завершения Verification DataJob проверьте результаты, чтобы убедиться, что данные в ClickHouse совпадают с данными в MySQL.
Последнее изменение 24 июля 2026 г.