Crunchy Bridge Postgres ソースセットアップガイド

ClickPipes は Postgres バージョン 12 以降に対応しています。

ロジカルレプリケーションを有効にする

Crunchy Bridge では、ロジカルレプリケーションはデフォルトで有効化されています。以下の設定が正しく構成されていることを確認してください。そうでない場合は、適切に調整してください。

SHOW wal_level; -- should be logical
SHOW max_wal_senders; -- should be 10
SHOW max_replication_slots; -- should be 10

ClickPipes 用ユーザーの作成と権限付与

postgres ユーザーで Crunchy Bridge Postgres に接続し、以下のコマンドを実行します。

1. ClickPipes 用の専用ユーザーを作成します:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. 先ほど作成したユーザーに対して、スキーマレベルの読み取り専用アクセス権を付与します。以下の例では public スキーマに対する権限を示しています。レプリケーションしたいテーブルを含む各スキーマに対して、これらのコマンドを繰り返し実行してください:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. ユーザーにレプリケーション権限を付与します:

    ALTER USER clickpipes_user WITH REPLICATION;
   

4. レプリケーションしたいテーブルを含む publication を作成します。パフォーマンスオーバーヘッドを避けるため、publication には必要なテーブルのみを含めることを強く推奨します。

   注意

   publication に含めるすべてのテーブルには、primary key が定義されているか、replica identity が FULL に設定されている必要があります。スコープ設定については、Postgres FAQs を参照してください。

   • 特定のテーブルに対する publication を作成する場合:

     CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
     

   • 特定スキーマ内のすべてのテーブルに対する publication を作成する場合:

     CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
     

   clickpipes publication には、指定したテーブルから生成される変更イベントのセットが含まれ、後でレプリケーションストリームを取り込むために使用されます。

ClickPipes の IP アドレスをセーフリストに追加する

Crunchy Bridge で Firewall Rules を追加して、ClickPipes IPs をセーフリストに登録します。

次のステップ

これでClickPipe を作成し、Postgres インスタンスから ClickHouse Cloud へのデータ取り込みを開始できます。 Postgres インスタンスのセットアップ時に使用した接続情報は、ClickPipe の作成時にも必要になるため、必ず控えておいてください。