AWS PrivateLink لـ ClickPipes

يمكنك استخدام AWS PrivateLink لإنشاء اتصال آمن بين ClickPipes ومصدر بيانات مستضاف على AWS. ينشئ ClickPipes نقطة نهاية خاصة عكسية (RPE) في شبكة VPC الخاصة به، ويوجّهها إلى خدمة نقطة نهاية خاصة منشورة لمصدر بياناتك، بحيث لا تتعرض حركة المرور للإنترنت العام مطلقًا.

تحقّق من مناطق AWS المدعومة قبل البدء.

مصادر بيانات ClickPipes المدعومة

تقتصر وظيفة نقطة نهاية خاصة عكسية في ClickPipes على أنواع مصادر البيانات التالية:

Kafka
Postgres
MySQL
MongoDB

بالنسبة إلى Kafka، يمكن الوصول إلى سجل المخططات المتوافق مع Confluent عبر نقطة نهاية خاصة عكسية نفسها الخاصة بالوسطاء، ولا يلزم أن يكون متاحًا علنًا، شريطة أن يُحل اسم المضيف الخاص به إلى عناوين IP الخاصة بنقطة النهاية.

أنواع نقاط نهاية AWS PrivateLink المدعومة

يمكن تهيئة نقطة نهاية خاصة عكسية لـ ClickPipes باستخدام أحد أساليب AWS PrivateLink التالية:

مورد VPC
اتصال MSK multi-VPC لـ ClickPipe الخاص بـ MSK
خدمة نقطة نهاية VPC

مورد VPC

لا يُدعم الاتصال بين المناطق.

يمكن الوصول إلى موارد VPC الخاصة بك في ClickPipes باستخدام PrivateLink. ولا يتطلب هذا النهج إعداد موازن تحميل أمام مصدر البيانات. يمكن أن يستهدف إعداد المورد مضيفًا محددًا أو ARN لمجموعة RDS. وهو الخيار المفضّل لـ Postgres CDC عند استيعاب البيانات من مجموعة RDS. لإعداد PrivateLink باستخدام مورد VPC:

أنشئ بوابة مورد
أنشئ إعداد مورد
أنشئ مشاركة مورد

إنشاء بوابة موارد

بوابة الموارد هي نقطة استقبال حركة المرور للموارد المحددة في VPC لديك.

يُوصى بأن تتوفر في الشبكات الفرعية المرتبطة ببوابة الموارد عناوين IP كافية. ويُوصى بأن يكون قناع الشبكة الفرعية لكل شبكة فرعية /26 على الأقل.لكل نقطة نهاية VPC ‏(أي لكل Reverse Private Endpoint)، تتطلب AWS كتلة متجاورة من 16 عنوان IP لكل شبكة فرعية (قناع شبكة فرعية /28). إذا لم يُستوفَ هذا الشرط، سينتقل Reverse Private Endpoint إلى حالة فشل.

يمكنك إنشاء بوابة موارد من وحدة تحكم AWS أو باستخدام الأمر التالي:

aws vpc-lattice create-resource-gateway \
    --vpc-identifier <VPC_ID> \
    --subnet-ids <SUBNET_IDS> \
    --security-group-ids <SG_IDs> \
    --name <RESOURCE_GATEWAY_NAME>

سيتضمن الناتج معرّف بوابة المورد، وستحتاج إليه في الخطوة التالية.قبل المتابعة، انتظر حتى تصبح بوابة المورد في حالة Active. يمكنك التحقق من الحالة بتشغيل الأمر التالي:

aws vpc-lattice get-resource-gateway \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID>

إنشاء إعداد لمورد VPC

يُربط Resource-Configuration ببوابة الموارد لجعل موردك متاحًا.يمكنك إنشاء Resource-Configuration من وحدة تحكم AWS أو باستخدام الأمر التالي:

aws vpc-lattice create-resource-configuration \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID> \
    --type <RESOURCE_CONFIGURATION_TYPE> \
    --resource-configuration-definition <RESOURCE_CONFIGURATION_DEFINITION> \
    --name <RESOURCE_CONFIGURATION_NAME>

أبسط نوع من تكوينات الموارد هو تكوين مورد واحد. يمكنك تكوينه باستخدام ARN مباشرةً، أو مشاركة عنوان IP أو اسم نطاق قابل للتحليل علنًا.على سبيل المثال، للتكوين باستخدام ARN لمجموعة RDS:

aws vpc-lattice create-resource-configuration \
    --name my-rds-cluster-config \
    --type ARN \
    --resource-gateway-identifier rgw-0bba03f3d56060135 \
    --resource-configuration-definition 'arnResource={arn=arn:aws:rds:us-east-1:123456789012:cluster:my-rds-cluster}'

لا يمكنك إنشاء تهيئة مورد لمجموعة يمكن الوصول إليها علنًا. إذا كانت مجموعتك متاحة للعامة، فيجب تعديلها لتصبح خاصة قبل إنشاء تهيئة المورد، أو استخدام قائمة السماح بعناوين IP بدلًا من ذلك. لمزيد من المعلومات، راجع وثائق AWS.

سيتضمن الناتج ARN لتهيئة المورد، وستحتاج إليه في الخطوة التالية. وسيتضمن أيضًا معرّف تهيئة المورد، الذي ستحتاج إليه لإعداد اتصال ClickPipe باستخدام مورد VPC.

إنشاء مشاركة للموارد

تتطلب مشاركة موردك إنشاء Resource-Share، ويتم ذلك عبر Resource Access Manager (RAM).

لا يمكن استخدام Resource-Share إلا مع Reverse Private Endpoint واحد، ولا يمكن إعادة استخدامه. إذا كنت بحاجة إلى استخدام Resource-Configuration نفسه لعدة Reverse Private Endpoints، فيجب إنشاء Resource-Share منفصل لكل endpoint. يبقى Resource-Share في حساب AWS الخاص بك بعد حذف Reverse Private Endpoint، ويجب إزالته يدويًا إذا لم تعد بحاجة إليه.

يمكنك إضافة Resource-Configuration إلى Resource-Share عبر وحدة تحكم AWS أو بتشغيل الأمر التالي باستخدام معرّف حساب ClickPipes 072088201116 ‏(arn:aws:iam::072088201116:root):

aws ram create-resource-share \
    --principals 072088201116 \
    --resource-arns <RESOURCE_CONFIGURATION_ARN> \
    --name <RESOURCE_SHARE_NAME>

سيحتوي الإخراج على ARN لمشاركة الموارد، وستحتاج إليه لإعداد اتصال ClickPipe باستخدام مورد VPC.أنت الآن جاهز لإنشاء ClickPipe باستخدام نقطة نهاية خاصة عكسية عبر مورد VPC. ستحتاج إلى:

تعيين VPC endpoint type إلى VPC Resource.
تعيين Resource configuration ID إلى معرّف تهيئة الموارد الذي أُنشئ في الخطوة 2.
تعيين Resource share ARN إلى ARN لمشاركة الموارد التي أُنشئت في الخطوة 3.

لمزيد من التفاصيل حول PrivateLink مع مورد VPC، راجع وثائق AWS.

اتصال MSK multi-VPC

تُعد ميزة اتصال multi-VPC ميزةً مضمّنة في AWS MSK، وتتيح توصيل عدة شبكات VPC بمجموعة MSK واحدة. يتوفر دعم DNS الخاص افتراضيًا ولا يتطلب أي إعداد إضافي. الاتصال عبر المناطق غير مدعوم. يُوصى بهذا الخيار لخدمة ClickPipes for MSK. راجع دليل البدء لمزيد من التفاصيل.

حدّث سياسة مجموعة MSK، وأضف 072088201116 إلى الكيانات الرئيسية المسموح بها بالوصول إلى مجموعة MSK. راجع دليل AWS حول إرفاق سياسة لمجموعة لمزيد من التفاصيل.

اتبع دليل إعداد MSK لخدمة ClickPipes لمعرفة كيفية إعداد الاتصال.

خدمة نقطة نهاية VPC

تُعد خدمة نقطة نهاية VPC طريقةً أخرى لمشاركة مصدر بياناتك مع ClickPipes. ويتطلب ذلك إعداد NLB ‏(Network Load Balancer) أمام مصدر بياناتك، وتهيئة خدمة نقطة نهاية VPC لاستخدام NLB. يمكن تهيئة خدمة نقطة نهاية VPC باستخدام DNS خاص يمكن الوصول إليه من خلال VPC الخاص بـ ClickPipes. ولا يُعد DNS الخاص المُدار بواسطة AWS PrivateLink خيارًا مناسبًا دائمًا:

لا تملك اسم نطاق مصدر بياناتك، لذا لا يمكنك التحقق منه لدى AWS
يطلب المزوّد من المستهلكين إدارة تحليل أسماء DNS، كما هو الحال في Confluent Cloud في هذه الحالات، راجع DNS خاص مخصص.

وهي خيار مفضّل لما يلي:

راجع دليل البدء لمزيد من التفاصيل.

أضف معرّف حساب ClickPipes، 072088201116، إلى الكيانات الرئيسية المسموح بها لخدمة نقطة نهاية VPC الخاصة بك. راجع دليل AWS حول إدارة الأذونات لمزيد من التفاصيل.

يمكن تهيئة الوصول عبر المناطق لـ ClickPipes. أضف منطقة ClickPipe الخاصة بك إلى المناطق المسموح بها في خدمة نقطة نهاية VPC الخاصة بك.

بالنسبة إلى مجموعات MSK، راجع خدمة نقطة نهاية AWS PrivateLink VPC لمجموعة MSK لإعداد وسيط لكل خدمة نقطة نهاية يستخدم أسماء DNS خاصة مخصصة.

DNS خاص مخصص

ميزة DNS الخاص المخصص في معاينة خاصة. تواصل مع فريق دعم ClickHouse لتمكينها لخدمتك.

يوفر AWS PrivateLink DNS خاصًا مُدارًا لخدمات نقاط نهاية VPC ذات نطاق تم التحقق منه. تتطلب بعض الخدمات من كل مستهلك إدارة تحليل أسماء DNS ضمن VPC الخاص به؛ فعلى سبيل المثال، يتطلب Confluent Cloud من المستهلكين تحليل أسماء مضيفي الوسطاء إلى نقطة نهاية PrivateLink. في هذه الحالات، يدعم ClickPipes إرفاق أسماء DNS خاصة مخصصة بنقطة نهاية خاصة عكسية. ويحل ClickPipes هذه الأسماء إلى العناوين الخاصة لنقطة النهاية، بحيث يمكن الوصول إلى مصدر بياناتك باستخدام اسم مضيفه الخاص عبر اتصال خاص. يُكمل DNS الخاص المخصص DNS الخاص المُدار، ولا يحل محله. إذا كانت خدمة PrivateLink لديك توفر بالفعل أسماء DNS خاصة، فلست بحاجة إلى أسماء مخصصة. تُدعم أسماء DNS الخاصة المخصصة لنوعي نقاط النهاية: خدمة نقطة نهاية VPC ومورد VPC. يوفر MSK متعدد VPC DNS خاصًا مُدارًا بشكل افتراضي، ولا يدعم الأسماء المخصصة.

تدعم ClickHouse Cloud console حاليًا اسم DNS خاص مخصص واحدًا لكل نقطة نهاية خاصة عكسية. إذا كنت بحاجة إلى إدارة عدة أسماء DNS خاصة مخصصة على نقطة النهاية نفسها، فاستخدم OpenAPI أو Terraform.

تنطبق القواعد التالية على أسماء DNS الخاصة المخصصة:

تُدعم الأسماء المطابقة تمامًا (kafka.internal.example.com) وأسماء البدل (*.example.com). يطابق حرف البدل تسمية DNS واحدة؛ على سبيل المثال، يطابق *.abcde12345.us-east-1.aws.confluent.cloud b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud.
يجب أن تكون الأسماء فريدة عبر جميع نقاط النهاية الخاصة العكسية لخدمة ClickHouse، بما في ذلك حالات التداخل بين أسماء البدل والأسماء المطابقة تمامًا.
تُرفض الأسماء الواقعة ضمن اللواحق المحجوزة (مثل local وlocalhost وinternal وcorp وprivate).

لتهيئة أسماء DNS الخاصة المخصصة:

في ClickHouse Cloud console، املأ حقل Custom private DNS name عند إنشاء نقطة نهاية خاصة عكسية. يظهر الحقل بمجرد تمكين الميزة لخدمتك.
باستخدام OpenAPI، عيّن customPrivateDnsMappings عند إنشاء نقطة نهاية خاصة عكسية، أو حدّث نقطة نهاية موجودة عبر طلب PATCH. تستبدل التحديثات قائمة التعيينات بالكامل؛ وتؤدي القائمة الفارغة إلى إزالة جميع الأسماء المخصصة.
باستخدام Terraform، استخدم مورد clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns لإدارة التعيينات على نقطة نهاية خاصة عكسية موجودة.

إنشاء ClickPipe باستخدام نقطة نهاية خاصة عكسية

انتقل إلى SQL Console لخدمة ClickHouse Cloud الخاصة بك.

اختر زر Data Sources من القائمة الجانبية اليسرى، ثم انقر على «Set up a ClickPipe».

اختر Kafka أو Postgres مصدرًا للبيانات.

اختر الخيار Reverse private endpoint.

اختر إحدى نقاط النهاية الخاصة العكسية الموجودة أو أنشئ نقطة نهاية جديدة.

إذا كان الوصول عبر المناطق مطلوبًا لـ RDS، فعليك إنشاء خدمة نقطة نهاية VPC، ويشكّل هذا الدليل نقطة بداية جيدة لإعدادها.للوصول ضمن المنطقة نفسها، يُوصى بإنشاء مورد VPC.

أدخل المعلمات المطلوبة لنوع نقطة النهاية المحدد.

بالنسبة إلى مورد VPC، أدخل ARN لمشاركة التكوين ومعرّف التكوين.
- بالنسبة إلى MSK متعدد VPC، أدخل ARN للعنقود وطريقة المصادقة المستخدمة مع نقطة النهاية المنشأة.
- بالنسبة إلى خدمة نقطة نهاية VPC، أدخل اسم الخدمة.
- اختياريًا، أدخل اسم DNS خاص مخصص.

انقر على Create وانتظر حتى تصبح نقطة النهاية الخاصة العكسية جاهزة. إذا كنت تنشئ نقطة نهاية جديدة، فسيستغرق إعدادها بعض الوقت. ستُحدَّث الصفحة تلقائيًا بمجرد أن تصبح نقطة النهاية جاهزة. قد تتطلب خدمة نقطة نهاية VPC قبول طلب الاتصال من وحدة تحكم AWS الخاصة بك.

بعد أن تصبح نقطة النهاية جاهزة، يمكنك استخدام اسم DNS للاتصال بمصدر البيانات. في قائمة نقاط النهاية، يمكنك رؤية اسم DNS الخاص بنقطة النهاية المتاحة. وقد يكون اسم DNS داخليًا توفره ClickPipes، أو اسم DNS خاصًا توفره خدمة PrivateLink، أو اسم DNS خاصًا مخصصًا. اسم DNS ليس عنوان شبكة كاملًا. أضف المنفذ المناسب لمصدر البيانات. يمكنك الوصول إلى سلسلة اتصال MSK من وحدة تحكم AWS. للاطلاع على القائمة الكاملة لأسماء DNS، انتقل إلى إعدادات خدمة Cloud.

إدارة نقاط النهاية الخاصة العكسية

يمكنك إدارة نقاط النهاية الخاصة العكسية الموجودة في إعدادات خدمة ClickHouse Cloud:

في الشريط الجانبي، ابحث عن زر Settings وانقر عليه.
انقر على Reverse private endpoints ضمن قسم ClickPipe reverse private endpoints. تُعرض المعلومات التفصيلية لنقطة النهاية الخاصة العكسية في اللوحة المنبثقة. لا يمكن تعديل نقطة النهاية بعد إنشائها. يمكنك حذفها بالنقر على × بجوار نقطة النهاية ثم التأكيد — الحذف نهائي وسيعطّل أي ClickPipe يستخدم نقطة النهاية هذه حاليًا.

مناطق AWS المدعومة

يقتصر دعم AWS PrivateLink لـ ClickPipes على مناطق AWS محددة. يُرجى الرجوع إلى قائمة مناطق ClickPipes للاطلاع على المناطق المتاحة. لا ينطبق هذا القيد على خدمة نقطة نهاية VPC لـ PrivateLink عند تمكين الاتصال عبر المناطق.

القيود

لا يُضمن إنشاء نقاط نهاية AWS PrivateLink لـ ClickPipes التي أُنشئت في ClickHouse Cloud ضمن منطقة AWS نفسها التي توجد فيها خدمة ClickHouse Cloud. حاليًا، تدعم خدمة نقطة نهاية VPC وحدها الاتصال عبر المناطق. ترتبط نقاط النهاية الخاصة بخدمة ClickHouse محددة ولا يمكن نقلها بين الخدمات. يمكن لعدة ClickPipes لخدمة ClickHouse واحدة إعادة استخدام نقطة النهاية نفسها. لا يدعم AWS MSK سوى PrivateLink واحد (نقطة نهاية VPC) لكل مجموعة MSK ولكل نوع مصادقة ‏(SASL_IAM أو SASL_SCRAM). ونتيجةً لذلك، لا يمكن لخدمات ClickHouse Cloud أو المؤسسات المتعددة إنشاء اتصالات PrivateLink منفصلة إلى مجموعة MSK نفسها باستخدام نوع المصادقة نفسه.

التنظيف التلقائي لنقاط النهاية غير النشطة

تُزال نقاط النهاية الخاصة العكسية التي تبقى في حالة نهائية تلقائيًا بعد فترة سماح محددة. يضمن ذلك عدم بقاء نقاط النهاية غير المستخدمة أو التي أُعدّت بشكل غير صحيح إلى أجل غير مسمى. تُطبَّق فترات السماح التالية وفقًا لحالة نقطة النهاية:

الحالة	فترة السماح	الوصف
فاشلة	7 أيام	واجهت نقطة النهاية خطأً أثناء التزويد.
بانتظار القبول	يوم واحد	لم يقبل مالك الخدمة اتصال نقطة النهاية.
مرفوضة	يوم واحد	رفض مالك الخدمة اتصال نقطة النهاية.
منتهية الصلاحية	فورًا	انتهت صلاحية نقطة النهاية بالفعل وتُزال على الفور.

بعد انقضاء فترة السماح، تُحذف نقطة النهاية وجميع الموارد المرتبطة بها تلقائيًا. لمنع الإزالة التلقائية، عالج المشكلة الأساسية قبل انتهاء فترة السماح. على سبيل المثال، اقبل طلب اتصال معلّقًا في وحدة تحكم AWS، أو أعد إنشاء نقطة النهاية إذا أصبحت في حالة فاشلة.

ClickPipes for Object Storage

ClickPipes for Postgres

ClickPipes for Kafka

ClickPipes for Kinesis

ClickPipes for GCP Pub/Sub

ClickPipes for MySQL

ClickPipes for MongoDB

ClickPipes for BigQuery

Programmatic access

Networking

Other

مصادر بيانات ClickPipes المدعومة

أنواع نقاط نهاية AWS PrivateLink المدعومة

مورد VPC

اتصال MSK multi-VPC

خدمة نقطة نهاية VPC

DNS خاص مخصص

إنشاء ClickPipe باستخدام نقطة نهاية خاصة عكسية

إدارة نقاط النهاية الخاصة العكسية

مناطق AWS المدعومة

القيود

التنظيف التلقائي لنقاط النهاية غير النشطة

​مصادر بيانات ClickPipes المدعومة

​أنواع نقاط نهاية AWS PrivateLink المدعومة

​مورد VPC

​اتصال MSK multi-VPC

​خدمة نقطة نهاية VPC

​DNS خاص مخصص

​إنشاء ClickPipe باستخدام نقطة نهاية خاصة عكسية

​إدارة نقاط النهاية الخاصة العكسية

​مناطق AWS المدعومة

​القيود

​التنظيف التلقائي لنقاط النهاية غير النشطة

مصادر بيانات ClickPipes المدعومة

أنواع نقاط نهاية AWS PrivateLink المدعومة

مورد VPC

اتصال MSK multi-VPC

خدمة نقطة نهاية VPC

DNS خاص مخصص

إنشاء ClickPipe باستخدام نقطة نهاية خاصة عكسية

إدارة نقاط النهاية الخاصة العكسية

مناطق AWS المدعومة

القيود

التنظيف التلقائي لنقاط النهاية غير النشطة