> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
> BladePipe のデータパイプラインを使用して ClickHouse にデータを取り込みます
# BladePipe を ClickHouse に接続する
export const PartnerBadge = () => {
return ;
};
export const Image = ({img, alt, size = "lg"}) => {
const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
return ;
};
BladePipe は、サブ秒レベルの低レイテンシでプラットフォーム間のシームレスなデータフローを実現する、リアルタイムのエンドツーエンド Data Integration ツールです。
ClickHouse は、BladePipe であらかじめ用意されているコネクタの 1 つで、さまざまなソースのデータを ClickHouse に自動的に取り込めます。このページでは、データを ClickHouse にリアルタイムで読み込む方法を順を追って説明します。
## 対応しているソース
現在、BladePipe は以下のソースから ClickHouse へのData Integrationに対応しています。
* MySQL/MariaDB/AuroraMySQL
* Oracle
* PostgreSQL/AuroraPostgreSQL
* MongoDB
* Kafka
* PolarDB-MySQL
* OceanBase
* TiDB
今後さらに多くのソースに対応する予定です。
1. BladePipe Cloud にログインします。
2. Worker のインストール (Docker) または Worker のインストール (バイナリ) の手順に従って、BladePipe Worker をダウンロードしてインストールします。
または、BladePipe Enterprise をダウンロードしてデプロイすることもできます。
1. BladePipe は ClickHouse バージョン `20.12.3.3` 以降をサポートしています。
2. ClickHouse をターゲットとして使用するには、ユーザーに SELECT、INSERT、および一般的な DDL 権限が付与されていることを確認してください。
1. BladePipe で、"DataSource" > "Add DataSource" をクリックします。
2. `ClickHouse` を選択し、ClickHouse のホストとポート、ユーザー名とパスワードを入力して設定を行い、"Test Connection" をクリックします。
3. 下部にある "Add DataSource" をクリックすると、ClickHouse インスタンスが追加されます。
このチュートリアルでは、ソースとして MySQL インスタンスを使用し、MySQL のデータを ClickHouse に読み込む手順を説明します。
MySQL をソースとして使用するには、ユーザーに必要な権限があることを確認してください。
1. BladePipe で、"DataSource" > "Add DataSource" をクリックします。
2. `MySQL` を選択し、MySQL のホストとポート、ユーザー名、パスワードを入力して設定を行い、"Test Connection" をクリックします。
3. 下部の "Add DataSource" をクリックすると、MySQL インスタンスが追加されます。
1. BladePipe で、"DataJob" > "Create DataJob" をクリックします。
2. 追加した MySQL インスタンスと ClickHouse インスタンスを選択し、"Test Connection" をクリックして BladePipe がそれぞれのインスタンスに接続できることを確認します。続いて、移行対象のデータベースを選択します。
3. DataJob Type で "Incremental" を選択し、あわせて "Full Data" オプションも選択します。
4. 複製するテーブルを選択します。
5. 複製するカラムを選択します。
6. DataJob の作成を確認すると、DataJob は自動的に実行されます。
1. MySQL インスタンスへのデータ書き込みを停止し、ClickHouse でデータがマージされるまで待ちます。
ClickHouse の自動マージのタイミングは予測できないため、`OPTIMIZE TABLE xxx FINAL;` コマンドを実行して手動でマージをトリガーできます。ただし、この手動マージは必ず成功するとは限りません。
または、`CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;` コマンドを実行してビューを作成し、そのビューに対してクエリを実行することで、データが完全にマージされていることを確認できます。
2. 検証用 DataJob を作成します。検証用 DataJob が完了したら、結果を確認し、ClickHouse のデータが MySQL のデータと一致していることを確認します。