メインコンテンツまでスキップ
メインコンテンツまでスキップ

Aurora Postgres Source Setup Guide

Supported Postgres versions​

ClickPipesは、Aurora PostgreSQL-Compatible Edition バージョン12以降をサポートしています。

Enable Logical Replication​

Auroraインスタンスに以下の設定が既に構成されている場合、このセクションをスキップできます：

  • rds.logical_replication = 1
  • wal_sender_timeout = 0

これらの設定は、以前に別のデータレプリケーションツールを使用していた場合、通常は事前に構成されています。

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

postgres=> SHOW wal_sender_timeout ;
 wal_sender_timeout
--------------------
 0
(1 row)

まだ構成されていない場合は、次の手順に従ってください：

  1. 必要な設定を持つAurora PostgreSQLバージョン用の新しいパラメーターグループを作成します：
    • rds.logical_replicationを1に設定
    • wal_sender_timeoutを0に設定
Parameterグルー��プの場所
rds.logical_replicationの変更
wal_sender_timeoutの変更
  1. 新しいパラメーターグループをAurora PostgreSQLクラスターに適用します
新しいパラメーターグループでAurora PostgreSQLを変更
  1. 変更を適用するためにAuroraクラスターを再起動します
Aurora PostgreSQLの再起動

Configure Database User​

管理者ユーザーとしてAurora PostgreSQLのライターインスタンスに接続し、以下のコマンドを実行します：

  1. ClickPipes用の専用ユーザーを作成します：

    CREATE USER clickpipes_user PASSWORD 'some-password';

  2. スキーマの権限を付与します。以下の例はpublicスキーマの権限を示しています。レプリケートしたい各スキーマについてこのコマンドを繰り返します：

    GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

  3. レプリケーション権限を付与します：

    GRANT rds_replication TO clickpipes_user;

  4. レプリケーションのためのパブリケーションを作成します：

    CREATE PUBLICATION clickpipes_publication FOR ALL TABLES;

Configure Network Access​

IP-based Access Control​

Auroraクラスターへのトラフィックを制限したい場合は、文書化された静的NAT IPをAuroraセキュリティグループのInbound rulesに追加してください。

Aurora PostgreSQLでのセキュリティグループの場所
上記セキュリティグループのインバウンドルールを編集

プライベートネットワークを通じてAuroraクラスターに接続するには、AWS PrivateLinkを使用できます。接続の設定については、ClickPipes用のAWS PrivateLink設定ガイドを参照してください。

Aurora-Specific Considerations​

ClickPipesをAurora PostgreSQLで設定する際に考慮すべき点は以下の通りです：

  1. 接続エンドポイント：常にAuroraクラスターのライターエンドポイントに接続してください。論理レプリケーションには、レプリケーションスロットを作成するための書き込みアクセスが必要で、プライマリインスタンスに接続する必要があります。

  2. フェイルオーバー処理：フェイルオーバーが発生した場合、Auroraは自動的にリーダーを新しいライターに昇格させます。ClickPipesは切断を検出し、ライターエンドポイントへの再接続を試みます。このエンドポイントは新しいプライマリインスタンスを指すことになります。

  3. グローバルデータベース：Aurora Global Databaseを使用している場合、プライマリリージョンのライターエンドポイントに接続する必要があります。クロスリージョンレプリケーションは、すでにリージョン間のデータ移動を処理します。

  4. ストレージの考慮事項：Auroraのストレージ層はクラスター内のすべてのインスタンスで共有されており、標準RDSに比べて論理レプリケーションのパフォーマンスが向上する可能性があります。

Dealing with Dynamic Cluster Endpoints​

Auroraは、適切なインスタンスに自動的にルーティングされる安定したエンドポイントを提供しますが、一貫した接続性を確保するための追加のアプローチは以下の通りです：

  1. 高可用性のセットアップの場合、Auroraライターエンドポイントを使用するようにアプリケーションを構成してください。これにより、現在のプライマリインスタンスを自動的に指します。

  2. クロスリージョンレプリケーションを使用している場合は、各リージョンに対して別々のClickPipesを設定してレイテンシを減少させ、耐障害性を向上させることを検討してください。

What's next?​

これで、ClickPipeを作成し、Aurora PostgreSQLクラスターからClickHouse Cloudにデータを取り込むことができるようになります。 Aurora PostgreSQLクラスターの設定時に使用した接続詳細をメモしておくことを忘れないでください。ClickPipeの作成プロセスでそれらが必要になります。