رحّل بيانات PostgreSQL باستخدام مصادر البيانات في ClickPipes

يوفّر ClickHouse Cloud الآن ClickPipes لترحيل قاعدة بيانات PostgreSQL الخارجية لديك إلى خدمة Managed Postgres. يوفّر هذا التكامل المضمّن تجربة سلسة للاتصال بقاعدة بياناتك المصدرية، وتصدير المخطط، واستيراده إلى Managed Postgres، وإعداد النسخ المتماثل المستمر.

المتطلبات المسبقة

إمكانية الوصول إلى قاعدة بيانات PostgreSQL المصدر باستخدام مستخدم لديه صلاحيات النسخ المتماثل. اتبع دليل الإعداد الخاص بالمصدر الذي تستخدمه:
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure Flexible Server for Postgres
- Neon Postgres
- Crunchy Bridge Postgres
- TimescaleDB
- مصدر Postgres عام لأي مزوّد آخر أو لأي مثيل مستضاف ذاتيًا
خدمة ClickHouse Managed Postgres لتكون هدف الترحيل. إذا لم تكن لديك واحدة بعد، فراجع دليل البدء السريع.
يجب أن يكون pg_dump وpsql مثبَّتين على جهازك المحلي. يأتي كلاهما ضمن أدوات PostgreSQL client القياسية.

اعتبارات قبل الترحيل

نشر تغييرات DDL: يلتقط النسخ المتماثل المستمر (CDC) عمليات DML وADD COLUMN. أما تغييرات DDL الأخرى، مثل DROP COLUMN وALTER COLUMN، فلا تُنقل ويجب تطبيقها يدويًا على النظام الهدف.

إذا واجهت مشكلات أثناء الترحيل، فراجع الأسئلة الشائعة حول عمليات ترحيل Managed Postgres للاطلاع على الأخطاء الشائعة وحلولها.

الاتصال بقاعدة البيانات المصدر

افتح ClickHouse Cloud console وحدد خدمة Managed Postgres الخاص بك.في الشريط الجانبي الأيسر، انقر على مصادر البيانات.انقر على بدء الاستيراد.أدخِل تفاصيل الاتصال بقاعدة بيانات PostgreSQL المصدر: المضيف، والمنفذ، واسم المستخدم، وكلمة المرور، واسم قاعدة البيانات. فعِّل TLS إذا كان المصدر يتطلب ذلك.إذا كنت بحاجة إلى اتصال خاص بقاعدة البيانات المصدر، يمكنك اختيار SSH tunneling وتقديم تفاصيل SSH اللازمة. يتيح ذلك لعملية الترحيل الاتصال بأمان بقواعد البيانات غير المتاحة علنًا.اختر طريقة الإدخال:

التحميل الأولي + CDC — ينسخ البيانات الحالية، ثم يُبقي الوجهة متزامنة مع التغييرات المستمرة.
التحميل الأولي فقط — نسخة لمرة واحدة، من دون نسخ متماثل مستمر.
CDC فقط — يتخطى النسخة الأولية ويُجري نسخًا متماثلًا للتغييرات الجديدة فقط بدءًا من هذه النقطة.

انقر على التالي.

تصدير مخطط قاعدة البيانات

يعرض المعالج أمر pg_dump مُعبّأ مسبقًا بتفاصيل الاتصال بالمصدر. شغّله في الطرفية:

pg_dump \
  -h <source_host> \
  -U <source_user> \
  -d <source_database> \
  --schema-only \
  -f pg.sql

يؤدي ذلك إلى إنشاء الملف pg.sql في الدليل الحالي.انقر على التالي.

استيراد المخطط إلى خدمة Managed Postgres الخاصة بك

حدد قاعدة البيانات الهدف من القائمة المنسدلة، أو انقر على Create a new database لإنشاء واحدة جديدة.يعرض المعالج أمر psql لتطبيق ملف تفريغ المخطط على خدمة Managed Postgres الخاصة بك. شغّله في الطرفية:

psql \
  -h <target_host> \
  -p 5432 \
  -U <target_user> \
  -d <target_database> \
  -f pg.sql

انقر على التالي.

تهيئة إعدادات الإدخال

حدّد الـ publication المراد استخدامها للنسخ المتماثل المنطقي. إذا تركت هذا الحقل فارغًا، فسيتم إنشاء publication تلقائيًا.وسّع Advanced replication settings لضبط معدل النقل:

Setting	Default	Description
Sync interval (seconds)	10	عدد مرات الاستعلام عن فتحة النسخ المتماثل
Parallel threads for initial load	4	عدد الخيوط لمرحلة النسخ المجمّع
Pull batch size	100,000	عدد الصفوف التي يتم جلبها في كل دفعة نسخ متماثل
Snapshot number of rows per partition	100000	حجم partition للّقطات الخاصة بالجداول الكبيرة
Snapshot number of tables in parallel	1	عدد الجداول التي تؤخذ لقطاتها بالتوازي

انقر على التالي.

تحديد الجداول

حدد الجداول التي تريد نسخها متماثلًا. تُجمَّع الجداول بحسب المخطط. حدد جداول فردية أو وسّع مخططًا لاختيارها جميعًا.انقر على Create migration.

راقب الترحيل

بعد إنشاء الترحيل، ستجده مُدرجًا في مصادر البيانات بالحالة قيد التشغيل. انقر على الترحيل لفتح العرض التفصيلي. تعرض علامة التبويب الجداول تقدّم التحميل الأوّلي لكل جدول، بما في ذلك الصفوف المُعالجة، والأقسام، ومتوسط الوقت لكل قسم. وتعرض علامة التبويب المقاييس تأخر النسخ المتماثل ومعدل النقل بمجرد بدء CDC.

مهام ما بعد الترحيل

بمجرد اكتمال التحميل الأولي، وإذا كنت تستخدم CDC، واقترب تأخر النسخ المتماثل من الصفر: تحقق من عدد الصفوف. أجرِ مراجعة سريعة للجداول المهمة في كلٍّ من المصدر والهدف قبل تحويل حركة المرور:

SELECT COUNT(*) FROM public.orders;

أوقِف عمليات الكتابة على المصدر. أوقِف عمليات كتابة التطبيق مؤقتًا. لفرض وضع القراءة فقط أثناء مرحلة التحويل:

ALTER DATABASE <source_db> SET default_transaction_read_only = on;

تأكّد من اكتمال تزامن النسخ المتماثل. قارن أحدث صف في كلٍّ من المصدر والهدف:

-- Run on both source and target
SELECT MAX(id), MAX(updated_at) FROM public.orders;

أعِد ضبط التسلسلات. اضبط التسلسلات لتتوافق مع القيم القصوى الحالية في كل جدول:

DO $$
DECLARE r RECORD;
BEGIN
    FOR r IN
        SELECT
            n.nspname AS schema_name,
            c.relname AS table_name,
            a.attname AS column_name,
            pg_get_serial_sequence(format('%I.%I', n.nspname, c.relname), a.attname) AS seq_name
        FROM pg_class c
        JOIN pg_namespace n ON n.oid = c.relnamespace
        JOIN pg_attribute a ON a.attrelid = c.oid
        WHERE c.relkind = 'r'
            AND a.attnum > 0
            AND NOT a.attisdropped
            AND n.nspname NOT IN ('pg_catalog', 'information_schema')
    LOOP
        IF r.seq_name IS NOT NULL THEN
            EXECUTE format(
                'SELECT setval(%L, COALESCE((SELECT MAX(%I) FROM %I.%I), 0) + 1, false)',
                r.seq_name, r.column_name, r.schema_name, r.table_name
            );
        END IF;
    END LOOP;
END $$;

حوِّل حركة مرور التطبيق. وجِّه عمليات القراءة والكتابة إلى خدمة Managed Postgres لديك، وراقب الأخطاء ومخالفات القيود وسلامة النسخ المتماثل. نظِّف. بمجرد إتمام التحويل والتأكد من أن الخدمة الجديدة سليمة، احذف عملية الترحيل من مصادر البيانات. إذا كنت قد استخدمت CDC، فاحذف فتحة النسخ المتماثل من المصدر لتحرير الموارد:

SELECT pg_drop_replication_slot('<slot_name>');

ابدأ الاستخدام

الميزات

اختبارات الأداء

التسعير

تكامل ClickHouse

الترحيلات

المراقبة

الأسئلة الشائعة

رحّل بيانات PostgreSQL باستخدام مصادر البيانات في ClickPipes

المتطلبات المسبقة

اعتبارات قبل الترحيل

راقب الترحيل

مهام ما بعد الترحيل

الخطوات التالية

​المتطلبات المسبقة

​اعتبارات قبل الترحيل

​راقب الترحيل

​مهام ما بعد الترحيل

​الخطوات التالية

المتطلبات المسبقة

اعتبارات قبل الترحيل

راقب الترحيل

مهام ما بعد الترحيل

الخطوات التالية