Skip to main content
بشكل افتراضي، يفترض GCS ClickPipe أن الملفات تُضاف إلى الحاوية وفق الترتيب المعجمي. ويمكن تهيئة GCS ClickPipe لإدخال الملفات التي لا تتبع ترتيبًا ضمنيًا من خلال إعداد اشتراك Google Cloud Pub/Sub متصل بالحاوية. يتيح ذلك لـ ClickPipes الاستماع إلى إشعارات OBJECT_FINALIZE وإدخال أي ملفات جديدة بغض النظر عن اصطلاح تسمية الملفات.
الوضع غير المرتب غير مدعوم للحاويات العامة. ويتطلب ذلك مصادقة باستخدام حساب خدمة واشتراك Google Cloud Pub/Sub متصل بالحاوية.

​
كيف يعمل

في هذا الوضع، يُجري GCS ClickPipe تحميلًا أوليًا لكل الملفات الموجودة في المسار المحدد، ثم يستمع إلى إشعارات الكائنات عبر اشتراك Pub/Sub التي تطابق هذا المسار. سيتم تجاهل أي رسالة تخص ملفًا سبق اكتشافه، أو ملفًا لا يطابق المسار، أو حدثًا من نوع مختلف. لا يمكن بدء الإدخال من ملف معيّن أو من نقطة زمنية محددة — إذ يحمّل ClickPipes دائمًا جميع الملفات في المسار المحدد. قد تحدث أنواع مختلفة من الإخفاقات أثناء إدخال البيانات، ما قد يؤدي إلى عمليات insert جزئية أو إلى بيانات مكررة. يتميز Object Storage ClickPipes بالقدرة على التعامل مع إخفاقات insert ويوفر دلالات exactly-once باستخدام جداول مرحلية مؤقتة. تُدرج البيانات أولًا في جدول مرحلي؛ وإذا حدث خطأ ما، يُفرَّغ الجدول المرحلي وتُعاد محاولة insert من حالة نظيفة. ولا تُنقل partitions إلى الجدول الهدف إلا بعد اكتمال عملية insert بنجاح.
1

أنشئ topic في Google Cloud Pub/Sub

1. في Google Cloud Console، انتقل إلى Pub/Sub > Topics > Create topic. أنشئ topic جديدًا مع اشتراك افتراضي، ودوّن اسم الـ Topic.
اشتراك واحد لكل ClickPipeيحتاج كل ClickPipe إلى اشتراك Pub/Sub مخصصًا له وحده. ضمن الاشتراك الواحد، يسلّم Pub/Sub كل رسالة إلى مشترك واحد فقط: فإذا كان هناك ClickPipeان أو أكثر (أو أي تطبيق آخر) يستهلكون الاشتراك نفسه، فلن يتلقى كل إشعار سوى واحد منهم فقط، وستتخطى الـ pipes الملفات بصمت إذا لم تتلقَّ الإشعار مطلقًا. ينطبق هذا حتى إذا كانت ClickPipes تستخدم أنماط مسارات مختلفة — فالـ pipe التي تتلقى إشعارًا بملف لا يطابق النمط تتجاهله، ولن يراه أي pipe آخر أبدًا. لإدخال البيانات من الحاوية نفسها باستخدام عدة ClickPipes، أنشئ اشتراكًا منفصلًا على الـ topic لكل ClickPipe.
2. اضبط إشعارًا لحاوية GCS ينشر أحداث OBJECT_FINALIZE إلى topic في Pub/Sub الذي أنشأته أعلاه.2.1. لا يمكن تنفيذ هذه الخطوة من خلال Google Cloud Console، لذلك يجب استخدام عميل gcloud أو واجهتك البرمجية المفضلة لـ Google Cloud. على سبيل المثال، باستخدام gcloud:
2

اضبط حساب خدمة

1. اضبط حساب خدمة مع الأذونات المطلوبة للسماح لـ ClickPipes بسرد الكائنات وجلبها من الحاوية المحددة، وكذلك باستهلاك الإشعارات من اشتراك Pub/Sub ومراقبتها.1.1. يمكن تنفيذ هذه الخطوة في Google Cloud Console، أو باستخدام عميل gcloud، أو عبر واجهتك البرمجية المفضلة لـ Google Cloud. على سبيل المثال، باستخدام gcloud:
3

أنشئ ClickPipe باستخدام الوضع غير المرتب

1. في ClickHouse Cloud console، انتقل إلى Data Sources > Create ClickPipe واختر Google Cloud Storage. أدخل التفاصيل اللازمة للاتصال بحاوية GCS الخاصة بك. ضمن Authentication method، اختر حساب خدمة وقدّم مفتاح حساب الخدمة بصيغة .json.2. فعّل الإدخال المستمر، ثم اختر Any order بوصفه وضع الإدخال، وقدّم اسم اشتراك Pub/Sub للاشتراك المتصل بحاويتك. يجب أن يُستخدم الاشتراك حصريًا بواسطة ClickPipe هذا — راجع أنشئ topic في Google Cloud Pub/Sub. يجب أن يتبع اسم الاشتراك التنسيق التالي:
3. انقر على Incoming data. حدّد Sorting key للجدول الهدف. أجرِ أي تعديلات لازمة على schema المعيّن، ثم اضبط role لمستخدم قاعدة البيانات الخاص بـ ClickPipes.4. راجع configuration وانقر على Create ClickPipe. سيُجري ClickPipes فحصًا أوليًا لحاويتك لتحميل جميع الملفات الموجودة التي تطابق المسار المحدد، ثم سيبدأ في معالجة الملفات عند وصول أحداث OBJECT_FINALIZE الجديدة إلى الـ topic.
آخر تعديل في ٢٣ يوليو ٢٠٢٦