Postgres をプロバイダー間で移行する作業は、ユーザーが想像する以上に手動での作業を必要とすることがよくあります。本ブログでは、現在の移行経路における課題と、Postgres by ClickHouse(パブリックベータが始まりました！)の新しい Postgres to Postgres ClickPipes によって、最小限のダウンタイムと運用負荷でシームレスかつフルマネージドな移行がどのように実現されるかをご紹介します。
現在のPostgres移行の複雑さ #
Postgres間の移行では、真に同等な移行体験を実現することが極めて重要です。Postgresデータベースは単なるテーブルの集まりではありません。インデックス、制約、シーケンス、トリガー、その他のデータベースオブジェクトはそれぞれ、コアとなるビジネスロジックを動かす上で重要な役割を果たします。これらのオブジェクトを正しく保持することが、移行後もアプリケーションが同一に動作することを保証する鍵となります。
それにもかかわらず、ほとんどのマネージドPostgresプロバイダーはユーザーに各種ツールのドキュメントを案内するだけで、専用のフルマネージド移行ツールを提供していません。
これらを組み合わせて信頼性の高い移行ワークフローを構築するのには、いくつもの面倒が伴います:
- 運用の複雑さが導入のハードルになる。 ユーザーは、コマンドラインツールのインストールと管理、スキーマダンプの生成、適切なリストア、そして移行プロセス全体の調整を自身で行うことが期待されます。
- 多くのユーザーには移行に必要な専門知識が不足している。
pg_dumpやpg_restoreは強力なツールですが、ユーザーはPostgresの細かな挙動に向き合うことになります。これによりエラーのリスクが増し、移行がより敷居の高いものになります。 - 大規模な移行は遅く、不透明である。 標準の
pg_dumpやpg_restore、あるいはネイティブの論理レプリケーションワークフローでは、大規模なデータセットだと何時間もかかる一方で、進捗や失敗状況を把握する手段はほとんどありません。これらの長時間実行されるパイプラインの監視自体が運用上の負担になりがちです。このベンチマーク で詳しく掘り下げています。 - オンライン移行には極めて信頼性の高いCDCが必要。 チームは通常、制御されたカットオーバーに備えて移行先を継続的に同期させ続けるためにChange Data Capture (CDC) に頼ります。最初からやり直すのはコストが高いため、CDCパイプラインには高い信頼性が求められます。
Postgres to Postgres ClickPipesのご紹介 #
前節で述べた課題に対応するため、ClickHouse Cloud のPostgres by ClickHouse向けに、フルマネージドなPostgres移行サービスを構築しました。Postgres to Postgres ClickPipesは、移行のセットアップと実行に関わる運用上の複雑さの多くを抽象化します。
自動化されたスキーマダンプ #
主要な機能の1つが、スキーマ移行の自動化 です。ユーザーが pg_dump や psql などのツールをインストールして実行する代わりに、ClickPipesが内部でスキーマのダンプとリストアを実行します。
これをユーザーから抽象化するにあたり、遭遇しうるあらゆるコーナーケースに対応するよう注意を払いました。代表的なものをいくつか挙げます:
- ソースへのセキュアな接続のサポート。TLS、証明書、さらにはプライベートリンクの利用も含みます。
- Postgresロールによる競合の回避。これらのロールはカットオーバー時にいつでも作成可能で、データ移動自体には不要です。
- ソースとターゲットのPostgresバージョンの差異への対応。pg_dumpのバージョンとソースサーバーのバージョンは互いに互換性が必要です。
- 移行先への適用はシングルラウンドトリップ接続でレイテンシを削減。ダンプファイル内のすべてのステートメントを逐次実行すると、長時間かかったりタイムアウトに遭遇したりする可能性があります。
- スキーマダンプをトランザクションとして適用し、冪等性のある再試行を可能に。これにより、ClickPipeを再作成することなく、その場で柔軟に修正や変更を加える余地が生まれます。
- ダンプエラーはClickPipes UIに即座に表示され、通知としても届きます。
これらの操作をClickHouse Cloud内で実行することで、コロケーションによる恩恵もあります。スキーマダンプと初期ロードはソースデータベースに近い場所で実行されるため、お手元のマシンで実行するよりも高速になります。
特殊な要件を持つユーザー向けには、ClickPipesは手動モードもサポートしており、関連ドキュメントへのリンクとともにカスタム移行ワークフローを実現できます。
並列初期ロードと信頼性の高いCDC #
Postgres to Postgres ClickPipesはPeerDBによって支えられており、オンライン移行のために2つの重要な機能を提供します。テラバイト級データの移動に必要な時間を日単位から時間単位に短縮する並列初期ロードと、ソースのレプリケーションスロットを常に読み取り、カラム追加の自動伝播やTOASTのサポートにより、カットオーバー時の高コストな再同期を回避できる信頼性の高いCDCです。
詳しくは、以前のブログ記事 こちら をご覧ください。
リトライ機構とアラート #
Postgres to Postgres ClickPipeは、プルとプッシュの両方で発生する一時的なエラーに対して耐性があり、両プロセスは互いに独立しており、各アクティビティはリトライで囲まれています。
堅牢性に加え、これにより失敗したリトライ回数に応じてメールやUIのベル通知を送れる、よりスマートな通知システムを実現しています。
デモ #
以下のデモでは、わかりやすいステップバイステップのウィザードを使い、わずか数クリックでClickPipeを作成するオンボーディング体験をご覧いただけます。
