AlloyDB Postgres ソースの設定ガイド

サポート対象バージョン

ClickPipes を使用して AlloyDB インスタンスから ClickHouse Cloud にデータを連携するには、インスタンスで論理レプリケーションが設定されている必要があります。これは AlloyDB Version 14 以降でサポートされています。

論理レプリケーションを有効にする

AlloyDB インスタンスで論理レプリケーションが有効になっているかを確認するには、プライマリインスタンスに対して次のクエリを実行します。

SHOW  wal_level;

結果が logical の場合は、論理レプリケーションはすでに有効になっているため、次の手順に進んでください。結果が replica の場合は、プライマリインスタンスで alloydb.enable_pglogical フラグと alloydb.logical_decoding フラグを on に設定する必要があります。

AlloyDB flags documentation にあるとおり、論理レプリケーションを有効にするフラグの変更には、プライマリインスタンスの再起動が必要です。

これらのフラグを有効にするには、次の手順を実行します。

Google Cloud Console で AlloyDB の Clusters ページに移動します。プライマリインスタンスの Actions メニューから Edit をクリックします。
下にスクロールして Advanced configuration options セクションを展開します。Flags で Add a database flag をクリックします。
- allowdb.enable_pglogical フラグを追加し、値を on に設定します
- alloydb.logical_decoding フラグを追加し、値を on に設定します
Update instance をクリックして構成変更を保存します。この操作により、プライマリインスタンスが再起動される点に注意してください。
インスタンスのステータスが Updating から Ready に変わったら、次のクエリをプライマリインスタンスに対して実行し、論理レプリケーションが有効になっていることを確認します。
SHOW wal_level;
結果は logical になるはずです。

ClickPipes ユーザーを作成し、レプリケーション権限を管理する

管理者ユーザーとして AlloyDB インスタンスに接続し、次のコマンドを実行します。

ClickPipes 専用のユーザーを作成します。

CREATE USER clickpipes_user PASSWORD 'some-password';

前の手順で作成したユーザーに、スキーマレベルの読み取り専用アクセス権を付与します。次の例は public スキーマに対する権限を示しています。レプリケーションするテーブルを含む各スキーマに対して、これらのコマンドを繰り返してください。
GRANT USAGE ON SCHEMA "public" TO clickpipes_user; GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user; ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
ユーザーにレプリケーション権限を付与します。
ALTER USER clickpipes_user WITH REPLICATION;
レプリケーションしたいテーブルを含む publication を作成します。パフォーマンスのオーバーヘッドを避けるため、publication には必要なテーブルだけを含めることを強く推奨します。

publication に含まれるテーブルには、主キー が定義されているか、replica identity が FULL に設定されている必要があります。スコープ設定のガイダンスについては、Postgres のよくある質問を参照してください。

特定のテーブルに対する publication を作成するには:
CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
- 特定のスキーマ内のすべてのテーブルに対する publication を作成するには:
  CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

clickpipes publication は、変更イベントが ClickPipes にストリーミングされる対象テーブルの集合を定義します。すべてのテーブルをレプリケーションするのでない限り、FOR ALL TABLES の使用は推奨しません。不要なテーブルを含めると、Postgres から ClickPipes への WAL トラフィックが増加し、レプリケーション全体の効率が低下するためです。

ネットワークアクセスを設定する

次に、ClickPipes が AlloyDB インスタンスに接続する方法を選択します。

Private Service Connect を使用
ClickPipes の IP を許可
SSH トンネルを使用

GCP でホストされている ClickHouse Cloud サービスからプライベート接続するには、GCP Private Service Connect ガイドに従って、AlloyDB インスタンス用のリバースプライベートエンドポイントを設定します。

Google Cloud Console で、AlloyDB の Clusters ページに移動します。プライマリインスタンスを選択して、概要ページを開きます。
Instances in your cluster までスクロールし、Edit primary をクリックします。
Enable Public IP チェックボックスをオンにして、パブリックインターネット経由でインスタンスへの接続を許可します。Authorized external networks で、サービスのデプロイ先リージョンに対応する ClickPipes の静的 IP アドレス一覧を入力します。

AlloyDB では、アドレスを CIDR 表記で指定する必要があります。提供されている ClickPipes の静的 IP アドレス一覧の各アドレスに /32 を追加すると、この表記に合わせられます。

Network Security で、Require SSL Encryption (default) を選択します (まだ選択されていない場合) 。
Update instance をクリックして、ネットワークセキュリティ設定の変更を保存します。

次のステップ

これで、ClickPipe を作成して、Postgres インスタンスから ClickHouse Cloud へのデータ取り込みを開始できます。 ClickPipe の作成時に必要になるため、Postgres インスタンスのセットアップ時に使用した接続情報は必ず控えておいてください。

オブジェクトストレージ向け ClickPipes

Postgres 向け ClickPipes

Kafka 向け ClickPipes

Kinesis 向け ClickPipes

GCP Pub/Sub 向け ClickPipes

MySQL 向け ClickPipes

MongoDB 向け ClickPipes

BigQuery 向け ClickPipes

プログラムによるアクセス

ネットワーキング

その他

AlloyDB Postgres ソースの設定ガイド

サポート対象バージョン

論理レプリケーションを有効にする

ClickPipes ユーザーを作成し、レプリケーション権限を管理する

ネットワークアクセスを設定する

次のステップ

​サポート対象バージョン

​論理レプリケーションを有効にする

​ClickPipes ユーザーを作成し、レプリケーション権限を管理する

​ネットワークアクセスを設定する

​次のステップ

サポート対象バージョン

論理レプリケーションを有効にする

ClickPipes ユーザーを作成し、レプリケーション権限を管理する

ネットワークアクセスを設定する

次のステップ