MySQLからClickHouseへのCDCを使用したデータの取り込み

Beta feature. Learn more.

参考

現在、ClickPipesを介してClickHouse CloudにMySQLからデータを取り込むことはプライベートプレビュー中です。

ClickPipesを使用して、ソースのMySQLデータベースからClickHouse Cloudにデータを取り込むことができます。ソースのMySQLデータベースは、オンプレミスまたはクラウドにホストされている可能性があります。

前提条件

まず、MySQLデータベースが正しく設定されていることを確認してください。ソースのMySQLインスタンスに応じて、次のガイドのいずれかに従ってください。

ソースのMySQLデータベースが設定されたら、ClickPipeの作成を続けることができます。

ClickHouse Cloudアカウントにログインしていることを確認してください。まだアカウントをお持ちでない場合は、こちらからサインアップできます。

前提条件のステップで構成したソースのMySQLデータベースの接続詳細を入力します。

参考
接続詳細を追加する前に、ファイアウォールルールでClickPipesのIPアドレスをホワイトリストに登録していることを確認してください。次のページには、ClickPipesのIPアドレスのリストがあります。詳細については、このページの上部にリンクされているソースのMySQL設定ガイドを参照してください。

ソースのMySQLデータベースが公開アクセスできない場合は、SSHトンネリングの詳細を指定できます。

「SSHトンネリングを使用する」トグルを有効にします。
SSH接続詳細を入力します。
キーベースの認証を使用する場合は、「キーペアを取り消して生成」をクリックして新しいキーを生成し、生成された公開キーをSSHサーバーの~/.ssh/authorized_keysにコピーします。
「接続を確認」をクリックして接続を確認します。

注記

ClickPipesがSSHトンネルを確立できるように、SSHバスチオンホストのファイアウォールルールでClickPipesのIPアドレスをホワイトリストに登録してください。

接続詳細が入力されたら、「次へ」をクリックします。

必要に応じて詳細設定を構成できます。各設定の簡単な説明は以下の通りです。

同期間隔: これはClickPipesがソースデータベースをポーリングして変更を確認する間隔です。コストに敏感なユーザーには、これを高い値（3600を超える）に設定することを推奨します。
初回ロードのための並列スレッド: これは初回スナップショットを取得するために使用される並列作業者の数です。テーブルの数が多い場合に、初回スナップショットを取得するために使用される並列作業者の数を制御するのに役立ちます。この設定はテーブルごとです。
プルバッチサイズ: 単一バッチで取得する行の数です。これは最善の努力としての設定であり、すべてのケースで適用されるとは限りません。
スナップショットごとのパーティションの行数: 初回スナップショット中に各パーティションで取得される行の数です。テーブルに多くの行がある場合に、各パーティションで取得される行の数を制御するのに役立ちます。
スナップショットのテーブル数: 初回スナップショット中に並列で取得されるテーブルの数です。テーブルの数が多い場合に、並列で取得されるテーブルの数を制御するのに役立ちます。

ここで、ClickPipeの宛先データベースを選択できます。既存のデータベースを選択するか、新しいデータベースを作成することができます。
ソースのMySQLデータベースからレプリケートしたいテーブルを選択できます。テーブルを選択する際に、宛先のClickHouseデータベースでテーブルの名称を変更したり、特定のカラムを除外することも可能です。

最後に、一般的な問題とその解決方法についての詳細は、"ClickPipes for MySQLFAQ"ページを参照してください。