> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
> BladePipe 데이터 파이프라인을 사용해 데이터를 ClickHouse로 스트리밍합니다
# BladePipe를 ClickHouse에 연결
export const PartnerBadge = () => {
return ;
};
export const Image = ({img, alt, size = "lg"}) => {
const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
return ;
};
BladePipe는 1초 미만의 지연 시간을 지원하는 실시간 엔드투엔드 데이터 통합 도구로, 여러 플랫폼 전반에서 원활한 데이터 흐름을 지원합니다.
ClickHouse는 BladePipe에서 제공하는 사전 구축된 connector 중 하나로, 다양한 소스의 데이터를 ClickHouse로 자동 통합할 수 있습니다. 이 페이지에서는 데이터를 ClickHouse로 실시간 로드하는 방법을 단계별로 설명합니다.
## 지원되는 소스
현재 BladePipe는 다음 소스에서 ClickHouse로의 데이터 통합을 지원합니다:
* MySQL/MariaDB/AuroraMySQL
* Oracle
* PostgreSQL/AuroraPostgreSQL
* MongoDB
* Kafka
* PolarDB-MySQL
* OceanBase
* TiDB
추후 더 많은 소스를 지원할 예정입니다.
1. BladePipe Cloud에 로그인합니다.
2. Worker 설치(Docker) 또는 Worker 설치(Binary)의 안내에 따라 BladePipe Worker를 다운로드하고 설치합니다.
또는 BladePipe Enterprise를 다운로드하여 배포할 수도 있습니다.
1. BladePipe는 ClickHouse 버전 `20.12.3.3` 이상을 지원합니다.
2. ClickHouse를 대상으로 사용하려면 사용자에게 SELECT, INSERT 및 일반 DDL 권한이 있어야 합니다.
1. BladePipe에서 "DataSource" > "Add DataSource"를 클릭합니다.
2. `ClickHouse`를 선택한 다음 ClickHouse 호스트와 포트, 사용자 이름, 비밀번호를 입력해 설정하고 "Test Connection"을 클릭합니다.
3. 하단의 "Add DataSource"를 클릭하면 ClickHouse 인스턴스가 추가됩니다.
이 튜토리얼에서는 MySQL 인스턴스를 소스로 사용하여 MySQL 데이터를 ClickHouse로 적재하는 과정을 설명합니다.
MySQL을 소스로 사용하려면 사용자에게 필요한 권한이 있는지 확인하십시오.
1. BladePipe에서 "DataSource" > "Add DataSource"를 클릭하십시오.
2. `MySQL`를 선택한 다음 MySQL 호스트와 포트, 사용자 이름, 비밀번호를 입력하여 설정을 완료하고 "Test Connection"을 클릭하십시오.
3. 하단의 "Add DataSource"를 클릭하면 MySQL 인스턴스가 추가됩니다.
1. BladePipe에서 "DataJob" > "Create DataJob"을 클릭합니다.
2. 추가한 MySQL 및 ClickHouse 인스턴스를 선택한 다음 "Test Connection"을 클릭하여 BladePipe가 해당 인스턴스에 연결되어 있는지 확인합니다. 그런 다음 옮길 데이터베이스를 선택합니다.
3. DataJob Type에서 "Incremental"을 선택하고, "Full Data" 옵션도 함께 선택합니다.
4. 복제할 테이블을 선택합니다.
5. 복제할 컬럼을 선택합니다.
6. DataJob 생성을 확인하면 DataJob이 자동으로 실행됩니다.
1. MySQL 인스턴스의 데이터 쓰기를 중지하고 ClickHouse에서 데이터가 머지될 때까지 기다리십시오.
ClickHouse의 자동 머지 시점은 예측할 수 없으므로 `OPTIMIZE TABLE xxx FINAL;` 명령을 실행해 수동으로 머지를 트리거할 수 있습니다. 다만 이 수동 머지가 항상 성공하는 것은 아닐 수 있습니다.
또는 `CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;` 명령을 실행해 뷰를 생성한 뒤, 해당 뷰에서 쿼리를 수행하여 데이터가 완전히 머지되었는지 확인할 수 있습니다.
2. 검증용 DataJob을 생성합니다. 검증용 DataJob이 완료되면 결과를 검토하여 ClickHouse의 데이터가 MySQL의 데이터와 동일한지 확인하십시오.