المصادر المدعومة
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
1
تنزيل وتشغيل BladePipe
- سجّل الدخول إلى BladePipe Cloud.
- اتبع التعليمات الواردة في تثبيت Worker (Docker) أو تثبيت Worker (الملف التنفيذي) لتنزيل Worker من BladePipe وتثبيته.
بدلاً من ذلك، يمكنك تنزيل BladePipe Enterprise ونشره.
2
أضِف ClickHouse كوجهة
- يدعم BladePipe إصدار ClickHouse
20.12.3.3أو الإصدارات الأحدث. - لاستخدام ClickHouse كوجهة، تأكَّد من أن لدى المستخدم أذونات SELECT وINSERT وأذونات DDL الشائعة.
- في BladePipe، انقر على “DataSource” > “Add DataSource”.
-
اختر
ClickHouse، ثم املأ الإعدادات بإدخال مضيف ClickHouse والمنفذ واسم المستخدم وكلمة المرور، ثم انقر على “Test Connection”. - انقر على “Add DataSource” في الأسفل، وستتم إضافة مثيل ClickHouse.
3
إضافة MySQL كمصدر
في هذا الدليل العملي، نستخدم مثيل MySQL كمصدر، ونشرح عملية تحميل بيانات MySQL إلى ClickHouse.
لاستخدام MySQL كمصدر، تأكد من أن المستخدم لديه الأذونات المطلوبة.
- في BladePipe، انقر على “DataSource” > “Add DataSource”.
-
حدِّد
MySQL، ثم املأ الإعدادات بإدخال مضيف MySQL والمنفذ واسم المستخدم وكلمة المرور، ثم انقر على “Test Connection”. - انقر على “Add DataSource” في الأسفل، وستتم إضافة مثيل MySQL.
4
إنشاء مسار معالجة
- في BladePipe، انقر على “DataJob” > “Create DataJob”.
- حدِّد مثيلَي MySQL وClickHouse اللذين تمت إضافتهما، ثم انقر على “Test Connection” للتأكد من اتصال BladePipe بهما. بعد ذلك، حدِّد قواعد البيانات المطلوب نقلها.
- حدِّد “Incremental” كنوع DataJob، مع خيار “Full Data”.
- حدِّد الجداول المطلوب نسخها.
- حدِّد الأعمدة المطلوب نسخها.
- أكِّد إنشاء DataJob، وسيبدأ تشغيله تلقائيًا.
5
تحقّق من البيانات
- أوقف كتابة البيانات في مثيل MySQL وانتظر حتى يُكمل ClickHouse دمج البيانات.
نظرًا إلى أن توقيت عمليات الدمج التلقائي في ClickHouse غير متوقع، يمكنك تشغيل الأمر
OPTIMIZE TABLE xxx FINAL; لبدء عملية دمج يدويًا. لاحظ أن عملية الدمج اليدوية هذه قد لا تنجح دائمًا.بدلاً من ذلك، يمكنك تشغيل الأمر CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL; لإنشاء عرض ثم تنفيذ الاستعلامات عليه للتأكد من أن البيانات قد دُمجت بالكامل.- أنشئ DataJob للتحقق. بعد اكتمال DataJob للتحقق، راجع النتائج للتأكد من أن البيانات في ClickHouse مطابقة للبيانات في MySQL.