このガイドでは、MySQL ClickPipe を使用して、Amazon RDS MySQL から ClickHouse Cloud にデータをレプリケートできるように設定する方法を説明します。MySQL CDC (変更データキャプチャ) に関するよくある質問については、MySQL のよくある質問ページ を参照してください。
バイナリログは、MySQL サーバーインスタンスに対して行われたデータ変更に関する情報を含むログファイルの集合であり、レプリケーションにはバイナリログファイルが必要です。RDS MySQL でバイナリログの保持を設定するには、バイナリログを有効にし、binlog の保持期間を延長する 必要があります。
自動バックアップでバイナリログを有効にする
MySQL でバイナリログを有効にするかどうかは、自動バックアップ機能によって決まります。自動バックアップは、RDS Console で Modify > Additional configuration > Backup の順に移動し、Enable automated backups チェックボックスをオンにすることで (まだ選択されていない場合) 、インスタンスに対して設定できます。レプリケーションのユースケースに応じて、Backup retention period を十分に長い値に設定することを推奨します。
binlog の保持期間を延長する
ClickPipes がレプリケーションの再開を試みた際、設定された binlog の保持期間により必要な バイナリログ ファイルがすでに削除されていると、ClickPipe はエラー状態となり、再同期が必要になります。
binlog retention hours) を設定するには、mysql.rds_set_configuration プロシージャを使用します。この設定がされていない場合や、間隔が短すぎる場合、バイナリログに欠落が生じ、ClickPipes でレプリケーションを再開できなくなるおそれがあります。MySQL クラスターを使用している場合、以下のパラメータは DB インスタンスグループではなく、DB cluster のパラメータグループで確認できます。
binlog_format を ROW に設定します。
binlog_row_metadata を FULL に設定します。
binlog_row_image を FULL に設定します。
その後、右上の Save Changes をクリックします。変更を反映するにはインスタンスの再起動が必要になる場合があります。RDS インスタンスの Configuration タブで、パラメータグループのリンクの横に Pending reboot と表示されていれば、その状態になっています。
MySQL ClickPipe は、GTID モードを使わないレプリケーションにも対応しています。ただし、パフォーマンスの向上とトラブルシューティングのしやすさのため、GTID モードを有効にすることを推奨します。
- RDS Console で MySQL インスタンスをクリックします。
- Configuration タブをクリックします。
- パラメータグループのリンクをクリックします。
- 右上の Edit ボタンをクリックします。
enforce_gtid_consistency を ON に設定します。gtid-mode を ON に設定します。- 右上の Save Changes をクリックします。
- 変更を反映するため、インスタンスを再起動します。
MySQL ClickPipe は、GTID モードを使わないレプリケーションにも対応しています。ただし、パフォーマンスの向上とトラブルシューティングのしやすさのため、GTID モードを有効にすることを推奨します。
-
ClickPipes 専用のユーザーを作成します。
-
スキーマに対する権限を付与します。次の例は、
mysql データベースに対する権限を示しています。レプリケートする各データベースとホストについて、これらのコマンドを繰り返します。
-
ユーザーにレプリケーション権限を付与します。
Aurora MySQL インスタンスへのトラフィックを制限するには、ドキュメントに記載されている固定 NAT IP を、RDS のセキュリティグループの Inbound rules に追加します。
AWS PrivateLink 経由のプライベートアクセス
