このステップバイステップガイドでは、MySQL ClickPipe を使用して、Amazon Aurora MySQL から ClickHouse Cloud にデータをレプリケートするよう設定する方法を説明します。MySQL CDC (変更データキャプチャ) に関するよくある質問については、MySQL よくある質問ページ を参照してください。
バイナリログは、MySQL サーバーインスタンスで行われたデータ変更に関する情報を含む一連のログファイルであり、レプリケーションにはバイナリログファイルが必要です。Aurora MySQL でバイナリログ保持を設定するには、バイナリログを有効にし、binlog の保持期間を延長する必要があります。
自動バックアップでバイナリログを有効にする
自動バックアップ機能によって、MySQL でバイナリログを有効にするかどうかが決まります。自動バックアップは、RDS Console で Modify > Additional configuration > Backup に移動し、Enable automated backups チェックボックスを選択することで (まだ選択されていない場合) インスタンスに設定できます。レプリケーションのユースケースに応じて、Backup retention period は十分に長い値に設定することを推奨します。
binlog の保持期間を延長する
ClickPipes がレプリケーションの再開を試みた際、設定された binlog の保持期間が原因で必要な binlog ファイルがすでに削除されていると、ClickPipe はエラー状態になり、再同期が必要になります。
デフォルトでは、Aurora MySQL はバイナリログをできるだけ早く削除します (つまり、遅延パージ) 。障害発生時でもレプリケーションに必要な バイナリログ ファイルを利用できるようにするため、binlog の保持期間は少なくとも 72 時間 に延長することを推奨します。バイナリログ の保持期間 (binlog retention hours) を設定するには、mysql.rds_set_configuration プロシージャを使用します。この設定がされていない、または間隔が短すぎると、バイナリログに欠落が生じ、ClickPipes がレプリケーションを再開できなくなるおそれがあります。
パラメータグループは、RDS Console で MySQL インスタンスをクリックし、Configuration タブに移動すると確認できます。
MySQL クラスターを使用している場合、以下のパラメータは DB インスタンスグループではなく、DB cluster のパラメータグループにあります。
パラメータグループのリンクをクリックすると、その詳細ページに移動します。右上に Edit ボタンが表示されるはずです。
以下のパラメータを次のように設定する必要があります。
binlog_format を ROW に設定します。
binlog_row_metadata を FULL に設定します。
binlog_row_image を FULL に設定します。
その後、右上の Save Changes をクリックします。変更を反映するには、インスタンスの再起動が必要な場合があります。Aurora インスタンスの Configuration タブで、パラメータグループのリンクの横に Pending reboot と表示されていれば、それが目印です。
MySQL ClickPipe は、GTID モードを使用しないレプリケーションにも対応しています。ただし、パフォーマンス向上とトラブルシューティングのしやすさのため、GTID モードを有効にすることを推奨します。
Global Transaction Identifiers (GTIDs) は、MySQL でコミットされた各トランザクションに割り当てられる一意の ID です。これにより、binlog レプリケーションが簡素化され、トラブルシューティングもしやすくなります。MySQL ClickPipe が GTID ベースのレプリケーションを使用できるようにするため、GTID モードを有効にすることを推奨します。
GTID ベースのレプリケーションは、Amazon Aurora MySQL v2 (MySQL 5.7) および v3 (MySQL 8.0) 、ならびに Aurora Serverless v2 でサポートされています。Aurora MySQL インスタンスで GTID モードを有効にするには、次の手順に従ってください。
- RDS Console で、MySQL インスタンスをクリックします。
- Configuration タブをクリックします。
- パラメータグループのリンクをクリックします。
- 右上の Edit ボタンをクリックします。
enforce_gtid_consistency を ON に設定します。
gtid-mode を ON に設定します。
- 右上の Save Changes をクリックします。
- 変更を反映するため、インスタンスを再起動します。
管理者ユーザーとして Aurora MySQL インスタンスに接続し、次のコマンドを実行します。
-
ClickPipes 専用のユーザーを作成します。
-
スキーマに対する権限を付与します。次の例は、
mysql データベースに対する権限を示しています。レプリケーション対象の各データベースとホストについて、これらのコマンドを繰り返します。
-
ユーザーにレプリケーション権限を付与します。
パスワードの代わりに、AWS IAM のロールベースアクセスを使用して ClickPipes ユーザーを認証できます。次のようにユーザーを作成し、その後、上記と同じスキーマおよびレプリケーションの権限を付与してください。
ClickPipes がこの方法で認証を行うために必要な IAM ロールとポリシーの設定手順の詳細については、AWS IAM DB認証 (RDS/Aurora)を参照してください。
Aurora MySQL インスタンスへのトラフィックを制限するには、ドキュメントに記載されている固定 NAT IP を、Aurora のセキュリティグループの Inbound rules に追加します。
AWS PrivateLink 経由のプライベートアクセス
Aurora MySQL インスタンスにプライベートネットワーク経由で接続するには、AWS PrivateLink を使用できます。接続の設定については、ClickPipes 向け AWS PrivateLink セットアップガイドを参照してください。
Amazon Aurora MySQL インスタンスで binlogレプリケーションが設定され、ClickHouse Cloud への安全な接続が確立されたら、最初の MySQL ClickPipe を作成できます。MySQL CDC (変更データキャプチャ) に関する一般的な質問については、MySQL よくある質問ページを参照してください。