> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
> Передавайте данные в ClickHouse в потоковом режиме с помощью конвейеров данных BladePipe
# Подключите BladePipe к ClickHouse
export const PartnerBadge = () => {
return ;
};
export const Image = ({img, alt, size = "lg"}) => {
const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
return ;
};
BladePipe — это инструмент для сквозной интеграции данных в реальном времени с задержкой менее секунды, обеспечивающий бесперебойную передачу данных между платформами.
ClickHouse — один из готовых коннекторов BladePipe, который позволяет автоматически загружать данные из различных источников в ClickHouse. На этой странице показано, как шаг за шагом загружать данные в ClickHouse в реальном времени.
## Поддерживаемые источники
В настоящее время BladePipe поддерживает интеграцию данных в ClickHouse из следующих источников:
* MySQL/MariaDB/AuroraMySQL
* Oracle
* PostgreSQL/AuroraPostgreSQL
* MongoDB
* Kafka
* PolarDB-MySQL
* OceanBase
* TiDB
В будущем список поддерживаемых источников будет расширен.
1. Войдите в BladePipe Cloud.
2. Следуйте инструкциям в Install Worker (Docker) или Install Worker (Binary), чтобы скачать и установить воркер BladePipe.
Либо вы можете скачать и развернуть BladePipe Enterprise.
1. BladePipe поддерживает ClickHouse версии `20.12.3.3` и выше.
2. Чтобы использовать ClickHouse в качестве целевого назначения, убедитесь, что у пользователя есть разрешения SELECT, INSERT и базовые DDL-разрешения.
1. В BladePipe нажмите "Источник данных" > "Добавить источник данных".
2. Выберите `ClickHouse`, затем заполните настройки: укажите хост и порт ClickHouse, имя пользователя и пароль, после чего нажмите "Проверить соединение".
3. Нажмите "Добавить источник данных" внизу страницы — экземпляр ClickHouse будет добавлен.
В этом руководстве мы используем экземпляр MySQL в качестве источника и покажем, как загрузить данные из MySQL в ClickHouse.
Чтобы использовать MySQL в качестве источника, убедитесь, что у пользователя есть необходимые разрешения.
1. В BladePipe нажмите "DataSource" > "Add DataSource".
2. Выберите `MySQL`, заполните настройки, указав хост и порт MySQL, имя пользователя и пароль, затем нажмите "Test Connection".
3. Нажмите внизу "Add DataSource", и экземпляр MySQL будет добавлен.
1. В BladePipe нажмите "DataJob" > "Create DataJob".
2. Выберите добавленные экземпляры MySQL и ClickHouse и нажмите "Test Connection", чтобы убедиться, что BladePipe подключён к ним. Затем выберите базы данных, которые нужно перенести.
3. В качестве типа DataJob выберите "Incremental" вместе с опцией "Full Data".
4. Выберите таблицы для репликации.
5. Выберите столбцы для репликации.
6. Подтвердите создание DataJob — он запустится автоматически.
1. Остановите запись данных в экземпляре MySQL и дождитесь, пока ClickHouse завершит слияние данных.
Из-за непредсказуемости времени автоматического слияния в ClickHouse вы можете вручную запустить слияние, выполнив команду `OPTIMIZE TABLE xxx FINAL;`. Обратите внимание, что такое слияние, запущенное вручную, не всегда может завершиться успешно.
Либо можно выполнить команду `CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;`, чтобы создать представление, и затем выполнять запросы к нему, чтобы убедиться, что данные полностью слиты.
2. Создайте Verification DataJob. После завершения Verification DataJob проверьте результаты, чтобы убедиться, что данные в ClickHouse совпадают с данными в MySQL.