GCP Private Service Connect لـ ClickPipes

يمكنك استخدام GCP‏ Private Service Connect (PSC) لإنشاء اتصال آمن بين ClickPipes ومصدر بيانات مستضاف على GCP. ينشئ ClickPipes نقطة نهاية خاصة عكسية (RPE) في شبكة VPC الخاصة به، ويوجّهها إلى خدمة نقطة نهاية خاصة منشورة لمصدر بياناتك، بحيث لا تتعرّض حركة المرور للإنترنت العام مطلقًا.

تتوفر إمكانية الاتصال عبر GCP PSC فقط عند نشر خدمة ClickPipes على GCP. راجع قائمة مناطق GCP التي يُستضاف فيها ClickPipes قبل البدء.

الأنماط المدعومة

النمط	متى يُستخدم	مرفق الخدمة
PSC أصلي	الخدمات المُدارة التي تنشر مرفق خدمة PSC تلقائيًا، مثل AlloyDB.	يُنشأ تلقائيًا عند تمكين PSC على المثيل.
PSC مملوك للمنتِج	مصادر البيانات التي لا تنشر مرفق خدمة، مثل Postgres على Compute Engine أو خدمة مُدارة لا يمكن الوصول إليها إلا عبر عنوان IP خاص.	تنشئه وتديره بنفسك.

المتطلبات الأساسية

خدمة ClickHouse Cloud مستضافة على GCP في منطقة تتوفر فيها ClickPipes.
أذونات IAM لتفعيل PSC على مصدرك وإدارة مرفقات خدمة PSC (roles/compute.networkAdmin).
يجب السماح لـ مشروع مستهلك ClickPipes بالاتصال بمرفق الخدمة لديك. بالنسبة إلى بيئة الإنتاج في ClickPipes، يكون هذا المشروع هو clickpipes-production.
مفتاح API/السر لـ ClickHouse Cloud الخاص بالمؤسسة المالكة للخدمة (مطلوب فقط إذا أجريت التوفير عبر Terraform أو واجهة برمجة التطبيقات).

إنشاء نقطة النهاية الخاصة العكسية

لإنشاء RPE، ستحتاج إلى المعلومات التالية الخاصة بمصدر بياناتك:

عنوان URI لمرفق الخدمة: projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>، وهو نقطة نهاية PSC المنشورة أمام مصدر بياناتك.
اسم DNS الخاص: اسم المضيف الذي يتصل به خط الأنابيب. تحصل نقطة نهاية PSC على عنوان IP داخلي ثابت دون اسم DNS مرتبط بها، لذا تحل ClickPipes اسم المضيف هذا إلى عنوان IP نيابةً عنك.

واجهة ClickPipes
Terraform
واجهة برمجة التطبيقات

في ClickHouse Cloud، افتح خدمتك وانتقل إلى مصادر البيانات > ClickPipes.
حدد مصدر البيانات الذي تريد استيعاب البيانات منه.
ضمن إعداد اتصال ClickPipe، فعّل استخدام اتصال آمن، ثم انقر على + نقطة نهاية خاصة عكسية واختر مرفق خدمة GCP PSC.
أدخل عنوان URI لمرفق الخدمة واسم DNS الخاص ووصفًا.
انقر على إنشاء. تمر نقطة النهاية بالحالتين Provisioning ← Ready. (يقبل PSC الأصلي تلقائيًا، لذا لن ترى PendingAcceptance.)

إن تعيينات DNS الخاصة المخصصة ليست سمةً لـclickhouse_clickpipes_reverse_private_endpoint، بل تُدار بواسطة مورد clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns المنفصل، الذي يقبل قائمة استبدال كاملة من التعيينات ويشير إلى نقطة النهاية باستخدام المعرّف:

resource "clickhouse_clickpipes_reverse_private_endpoint" "gcp_psc" {
  service_id             = var.clickhouse_service_id
  description            = "GCP PSC endpoint"
  type                   = "GCP_PSC_SERVICE_ATTACHMENT"
  gcp_service_attachment = "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>"
}

resource "clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns" "gcp_psc" {
  service_id                  = var.clickhouse_service_id
  reverse_private_endpoint_id = clickhouse_clickpipes_reverse_private_endpoint.gcp_psc.id

  mapping = [
    { private_dns_name = "<PRIVATE_DNS_NAME>" }
  ]
}

curl --silent --user $KEY_ID:$KEY_SECRET \
  -X POST -H "Content-Type: application/json" \
  https://api.clickhouse.cloud/v1/organizations/<ORG_ID>/services/<SERVICE_ID>/clickpipesReversePrivateEndpoints \
  -d '{
    "type": "GCP_PSC_SERVICE_ATTACHMENT",
    "description": "GCP PSC endpoint",
    "gcpServiceAttachment": "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>",
    "customPrivateDnsMappings": [
      { "privateDnsName": "<PRIVATE_DNS_NAME>" }
    ]
  }'

أسماء DNS الخاصة المخصصة

نظرًا إلى أن GCP PSC لا ينشر سجلات DNS، يُعد تعيين DNS خاص مخصص ضروريًا لكل نقطة نهاية في GCP PSC — إذ تُوفّر دائمًا اسم DNS الخاص بالمصدر بهذه الطريقة، ويحلّه ClickPipes إلى عنوان IP الداخلي الثابت للـ نقطة نهاية. تنطبق قواعد تسمية DNS الخاص المخصص القياسية في ClickPipes — إذ يُفرض دعم wildcards، والتفرّد عبر نقاط النهاية الخاصة العكسية للخدمة، وقيود اللاحقات المحجوزة بالطريقة نفسها لدى جميع المزوّدين. وتكون wildcards مفيدة بصورة خاصة في GCP: إذ يغطي تعيين واحد مثل *.<cluster>.<region>.managedkafka.<project>.cloud.goog جميع brokers في Kafka cluster من نوع Managed. بالنسبة إلى GCP PSC، لا يُستخدم إلا privateDnsName الخاص بالتعيين. الحقل internalDNSName غير مدعوم، لأن نقطة نهاية في PSC يوفّر عنوان IP ثابتًا لا اسم DNS لتثبيته عليه — وتُحل التعيينات دائمًا إلى عنوان IP هذا.

الموافقة على الاتصالات المملوكة للمنتِج

بالنسبة إلى PSC المملوك للمنتِج، أضِف مشروع ClickPipes المستهلِك إلى قائمة القبول التلقائي لمرفق الخدمة ليُقبل الاتصال تلقائيًا. إذا لم تفعل ذلك، سيظل RPE في حالة PendingAcceptance إلى أن توافق عليه يدويًا. لقبول الاتصال، يجب أن تتضمن قائمة قبول المستهلكين لمرفق الخدمة عنوان URI المستند إلى المعرّف الرقمي لنقطة النهاية (projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID>). هذه القيمة هي endpointWithId للاتصال المعلّق على مرفق الخدمة — صِفه للعثور عليها:

gcloud beta compute service-attachments describe <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --format='json(connectedEndpoints)'

خذ endpointWithId الخاص بالإدخال ذي status بقيمة PENDING، وأزل البادئة https://www.googleapis.com/compute/beta/، ثم مرّر النتيجة إلى --consumer-accept-list:

gcloud beta compute service-attachments update <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --consumer-accept-list=projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID> \
  --reconcile-connections

لا تستخدم endpoint_id الوارد في استجابة واجهة برمجة تطبيقات ClickPipes أو Terraform هنا — فهذه القيمة هي اسم قاعدة إعادة التوجيه، وليست المعرّف الرقمي الذي تتطلبه GCP، لذا لن تتطابق قائمة القبول. احصل دائمًا على المعرّف الرقمي من endpointWithId المعلّق الخاص بمرفق الخدمة.يؤدي --consumer-accept-list أيضًا إلى استبدال قائمة القبول بدلًا من الإضافة إليها. إذا كان مرفق الخدمة يقبل بالفعل مشاريع أو نقاط نهاية أخرى، فمرّرها جميعًا في الأمر نفسه، وإلا فستفقد العناصر التي لم تذكرها إمكانية الوصول.

إدارة نقاط النهاية الخاصة العكسية

يمكنك إدارة نقاط النهاية الخاصة العكسية الحالية من إعدادات خدمة ClickHouse Cloud:

في الشريط الجانبي، ابحث عن زر Settings وانقر عليه.
انقر على Reverse private endpoints ضمن قسم ClickPipe reverse private endpoints. تظهر المعلومات التفصيلية لنقطة النهاية الخاصة العكسية في اللوحة المنبثقة. هذا العرض للقراءة فقط باستثناء الحذف: انقر على × بجانب نقطة نهاية وأكّد الحذف. الحذف نهائي ويعطّل أي ClickPipe يستخدم نقطة النهاية هذه حاليًا. لتغيير تعيينات DNS الخاص المخصص لنقطة نهاية، استخدم واجهة برمجة التطبيقات أو Terraform. يستبدل التحديث قائمة التعيينات بالكامل بدلًا من الإضافة إليها.

إذا كانت نقطة النهاية تعرض Rejected أو Failed، فاقرأ الرسالة أسفل حالتها، إذ توضح ما إذا كان المنتج قد رفض الاتصال، أو ما إذا كان الاتصال قد أُغلق أو يحتاج إلى إجراء. يشير كلاهما عادةً إلى أن قائمة القبول الخاصة بمرفق الخدمة لا تتضمن مشروع مستهلك ClickPipes. للاطلاع على الحالة التي يبلّغ عنها GCP لنقطة النهاية، نفّذ وصفًا لـ connectedEndpoints الخاص بمرفق الخدمة لديك.

القيود

يجب أن تقع نقطة نهاية RPE ومرفق الخدمة في منطقة GCP نفسها. لا يُدعم PSC عبر المناطق باستخدام الوصول العام حتى الآن. استخدم SSH Tunneling إذا كان المصدر في منطقة أخرى.
لا يمكن أن يُطالب بمرفق خدمة PSC سوى من قِبل خدمة ClickHouse Cloud واحدة في الوقت نفسه، ولا يمكن إعادة استخدامه عبر خدمات متعددة. لنقل مرفق خدمة إلى خدمة أخرى، تواصل مع دعم ClickHouse لتحرير المطالبة الحالية.

ClickPipes for Object Storage

ClickPipes for Postgres

ClickPipes for Kafka

ClickPipes for Kinesis

ClickPipes for GCP Pub/Sub

ClickPipes for MySQL

ClickPipes for MongoDB

ClickPipes for BigQuery

Programmatic access

Networking

Other

GCP Private Service Connect لـ ClickPipes

الأنماط المدعومة

المتطلبات الأساسية

إنشاء نقطة النهاية الخاصة العكسية

أسماء DNS الخاصة المخصصة

الموافقة على الاتصالات المملوكة للمنتِج

إدارة نقاط النهاية الخاصة العكسية

القيود

​الأنماط المدعومة

​المتطلبات الأساسية

​إنشاء نقطة النهاية الخاصة العكسية

​أسماء DNS الخاصة المخصصة

​الموافقة على الاتصالات المملوكة للمنتِج

​إدارة نقاط النهاية الخاصة العكسية

​القيود

الأنماط المدعومة

المتطلبات الأساسية

إنشاء نقطة النهاية الخاصة العكسية

أسماء DNS الخاصة المخصصة

الموافقة على الاتصالات المملوكة للمنتِج

إدارة نقاط النهاية الخاصة العكسية

القيود