إنشاء أول Amazon S3 ClickPipe

حدِّد مصدر البيانات

1. في ClickHouse Cloud، حدِّد مصادر البيانات من قائمة التنقل الرئيسية، ثم انقر على Create ClickPipe.

2. انقر على بطاقة Amazon S3. يمكنك أيضًا استخدام هذه البطاقة للاتصال بخدمات أخرى متوافقة مع S3 وغير مُدرجة في واجهة مستخدم ClickPipes.

نظرًا للاختلافات في تنسيقات عناوين URL وآليات تنفيذ واجهة برمجة التطبيقات بين موفري خدمات تخزين الكائنات، ليست كل الخدمات المتوافقة مع S3 مدعومة تلقائيًا. إذا واجهت مشكلات مع خدمة غير مُدرجة ضمن مصادر البيانات المدعومة، يُرجى التواصل مع فريقنا.

قم بإعداد اتصال ClickPipe

1. لإعداد ClickPipe جديد، يجب عليك تقديم تفاصيل الاتصال بخدمة تخزين الكائنات لديك وكيفية المصادقة معها.

• طريقة المصادقة: يدعم S3 ClickPipe بيانات اعتماد IAM (Credentials) والمصادقة المستندة إلى دور IAM (IAM role). راجع الوثائق المرجعية للحصول على إرشادات حول المصادقة والأذونات.
  • مسار ملف S3: يتوقع S3 ClickPipe URI بأسلوب الاستضافة الافتراضية.
    https://bucket-name.s3.region-code.amazonaws.com/key-name
    
    يمكنك استخدام أحرف البدل في POSIX لمطابقة عدة ملفات أو بادئات. راجع الوثائق المرجعية للحصول على إرشادات حول الأنماط المدعومة.

2. انقر على Incoming data. سيجلب ClickPipes البيانات الوصفية من حاوية التخزين لديك للخطوة التالية.

اختر تنسيق البيانات

ستعرض واجهة المستخدم قائمة بالملفات في الـ bucket المحدد. اختر تنسيق البيانات (ندعم حاليًا مجموعة فرعية من تنسيقات ClickHouse)، وحدد ما إذا كنت تريد تمكين الاستيعاب المستمر. راجع قسم “الاستيعاب المستمر” في صفحة النظرة العامة لمزيد من التفاصيل.

كوّن الجدول والمخطط والإعدادات

في الخطوة التالية، يمكنك اختيار ما إذا كنت تريد استيعاب البيانات في ClickHouse table جديد أو إعادة استخدام جدول موجود. اتبع الإرشادات الظاهرة على الشاشة لتعديل اسم الجدول والمخطط والإعدادات. يمكنك رؤية معاينة فورية لتغييراتك في جدول العينة في الأعلى.

يمكنك أيضًا تخصيص الإعدادات المتقدمة باستخدام عناصر التحكم المتاحة.

بدلًا من ذلك، يمكنك اختيار استيعاب بياناتك في ClickHouse table موجود. في هذه الحالة، ستتيح لك واجهة المستخدم تعيين الحقول من المصدر إلى حقول ClickHouse في جدول الوجهة المحدد.

يمكنك أيضًا تعيين الأعمدة الافتراضية، مثل _path أو _size، إلى الحقول.

كوّن الأذونات

أخيرًا، يمكنك تكوين الأذونات للمستخدم الداخلي الخاص بـ ClickPipes.الأذونات: سينشئ ClickPipes مستخدمًا مخصصًا لكتابة البيانات إلى جدول الوجهة. يمكنك اختيار دور لهذا المستخدم الداخلي باستخدام دور مخصص أو أحد الأدوار المعرفة مسبقًا:

• Full access: وصول كامل إلى العنقود. وهو مطلوب إذا كنت تستخدم materialized view أو Dictionary مع جدول الوجهة.
• Only destination table: أذونات INSERT على جدول الوجهة فقط.

أكمل الإعداد

بالنقر على “Complete Setup”، سيسجل النظام ClickPipe الخاص بك، وستتمكن من رؤيته مدرجًا في جدول الملخص.

يوفر جدول الملخص عناصر تحكم لعرض بيانات عينة من المصدر أو من جدول الوجهة في ClickHouse.

كما يوفر عناصر تحكم لإزالة ClickPipe وعرض ملخص لمهمة الاستيعاب.

تهانينا! لقد أعددت أول ClickPipe بنجاح. إذا كان ClickPipe هذا مُكوّنًا للاستيعاب المستمر، فسيظل قيد التشغيل باستمرار، مع استيعاب البيانات في الوقت الفعلي من مصدر البيانات البعيد. وإلا فسيستوعب الدفعة ثم يكتمل.