دليل إعداد مصدر RDS Postgres

إصدارات Postgres المدعومة

تدعم ClickPipes Postgres بالإصدار 12 وما بعده.

تمكين النسخ المتماثل المنطقي

يمكنك تخطي هذا القسم إذا كان مثيل RDS لديك مُهيأ بالفعل بالإعداد التالي:

rds.logical_replication = 1

عادةً ما يكون هذا الإعداد مُعدًّا مسبقًا إذا كنت قد استخدمت سابقًا أداة أخرى لنسخ البيانات.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

إذا لم يكن ذلك مُهيّأً بالفعل، فاتبع الخطوات التالية:

أنشئ مجموعة معلمات جديدة لإصدار Postgres لديك تتضمن الإعدادات المطلوبة:
- اضبط rds.logical_replication على 1

طبّق مجموعة المعلمات الجديدة على قاعدة بيانات Postgres في RDS

أعد تشغيل مثيل RDS لديك لتطبيق التغييرات

إعداد مستخدم قاعدة البيانات

اتصل بمثيل RDS Postgres الخاص بك باستخدام مستخدم مسؤول، ثم نفّذ الأوامر التالية:

أنشئ مستخدمًا مخصصًا لـ ClickPipes:

CREATE USER clickpipes_user PASSWORD 'some-password';

امنح المستخدم الذي أنشأته في الخطوة السابقة وصولًا للقراءة فقط على مستوى المخطط. يوضح المثال التالي الأذونات الخاصة بالمخطط public. كرّر هذه الأوامر لكل مخطط يحتوي على جداول تريد نسخها:
GRANT USAGE ON SCHEMA "public" TO clickpipes_user; GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user; ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
امنح المستخدم امتيازات النسخ المتماثل:
GRANT rds_replication TO clickpipes_user;
أنشئ publication يتضمن الجداول التي تريد نسخها. نوصي بشدة بقصر الـ publication على الجداول التي تحتاج إليها فقط لتجنّب أي حمل إضافي على الأداء.

يجب أن يحتوي أي جدول مُدرج في الـ publication إما على مفتاح أساسي معرّف، أو أن تكون replica identity الخاصة به مضبوطة على FULL. راجع الأسئلة الشائعة لـ Postgres للحصول على إرشادات حول تحديد النطاق.

لإنشاء publication لجداول محددة:

CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

لإنشاء publication لجميع الجداول ضمن مخطط محدد:
CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

يحدّد الـ publication ‏clickpipes مجموعة الجداول التي ستُبث أحداث التغيير الخاصة بها إلى ClickPipes. نوصي بعدم استخدام FOR ALL TABLES إلا إذا كنت تنوي نسخ كل الجداول، لأن تضمين جداول غير ضرورية يزيد من حركة WAL من Postgres إلى ClickPipes ويقلّل من الكفاءة الإجمالية للنسخ المتماثل.

استخدام مصادقة IAM (اختياري)

بدلًا من كلمة المرور، يمكنك مصادقة مستخدم ClickPipes باستخدام الوصول المستند إلى الدور في AWS IAM. أنشئ المستخدم كما يلي، ثم امنحه امتيازات مخطط والنسخ المتماثل نفسها الموضحة أعلاه:

CREATE USER clickpipes_iam_user;
GRANT rds_iam TO clickpipes_iam_user;

تتطلب مصادقة IAM للنسخ المتماثل تعيين المعلَمة rds.iam_auth_for_replication إلى 1. ويتوفر هذا بدءًا من PostgreSQL الإصدار 11 وما بعده؛ أما في الإصدارات الأقدم، فلا يمكنك تشغيل سوى ClickPipes من نوع Initial Load Only.

راجع مصادقة قاعدة بيانات AWS IAM ‏(RDS/Aurora) للاطلاع على الخطوات الكاملة لإعداد دور IAM والسياسة المطلوبة لكي تتمكن ClickPipes من المصادقة بهذه الطريقة.

إعداد الوصول إلى الشبكة

التحكم في الوصول المستند إلى IP

إذا كنت تريد تقييد حركة المرور إلى مثيل RDS الخاص بك، فيُرجى إضافة عناوين IP الثابتة لـ NAT الموثّقة إلى Inbound rules في مجموعة الأمان الخاصة بـ RDS.

الوصول الخاص عبر AWS PrivateLink

للاتصال بمثيل RDS الخاص بك عبر private network، يمكنك استخدام AWS PrivateLink. اتبع setup guide الخاص بنا لـ AWS PrivateLink مع ClickPipes لإعداد connection.

حلول بديلة لـ RDS Proxy

لا يدعم RDS Proxy اتصالات النسخ المتماثل المنطقي. إذا كانت لديك عناوين IP ديناميكية في RDS ولا يمكنك استخدام اسم DNS أو Lambda، فإليك بعض البدائل:

باستخدام مهمة cron، استخرج عنوان IP لنقطة نهاية RDS بشكل دوري وحدّث NLB إذا تغيّر.
باستخدام إشعارات أحداث RDS مع EventBridge/SNS: شغّل التحديثات تلقائيًا عبر إشعارات أحداث AWS RDS.
EC2 ثابت: انشر مثيل EC2 ليعمل كخدمة استقصاء دوري أو وكيل قائم على IP.
أتمتة إدارة عناوين IP باستخدام أدوات مثل Terraform أو CloudFormation.

ما الخطوة التالية؟

يمكنك الآن إنشاء ClickPipe الخاص بك والبدء في إدخال البيانات من مثيل Postgres الخاص بك إلى ClickHouse Cloud. احرص على تدوين تفاصيل الاتصال التي استخدمتها أثناء إعداد مثيل Postgres الخاص بك، لأنك ستحتاج إليها خلال عملية إنشاء ClickPipe.

ClickPipes for BigQuery

الوصول البرمجي

أخرى

دليل إعداد مصدر RDS Postgres

إصدارات Postgres المدعومة

تمكين النسخ المتماثل المنطقي

إعداد مستخدم قاعدة البيانات

استخدام مصادقة IAM (اختياري)

إعداد الوصول إلى الشبكة

التحكم في الوصول المستند إلى IP

الوصول الخاص عبر AWS PrivateLink

حلول بديلة لـ RDS Proxy

ما الخطوة التالية؟

​إصدارات Postgres المدعومة

​تمكين النسخ المتماثل المنطقي

​إعداد مستخدم قاعدة البيانات

​استخدام مصادقة IAM (اختياري)

​إعداد الوصول إلى الشبكة

​التحكم في الوصول المستند إلى IP

​الوصول الخاص عبر AWS PrivateLink

​حلول بديلة لـ RDS Proxy

​ما الخطوة التالية؟

إصدارات Postgres المدعومة

تمكين النسخ المتماثل المنطقي

إعداد مستخدم قاعدة البيانات

استخدام مصادقة IAM (اختياري)

إعداد الوصول إلى الشبكة

التحكم في الوصول المستند إلى IP

الوصول الخاص عبر AWS PrivateLink

حلول بديلة لـ RDS Proxy

ما الخطوة التالية؟