مقدمة
ليس OpenTelemetry فحسبمع أن توصيتنا هي استخدام مشروع OpenTelemetry (OTel) لجمع البيانات، يمكن أيضًا بناء معماريات مماثلة باستخدام أطر عمل وأدوات أخرى مثل Vector وFluentd (راجع مثالًا باستخدام Fluent Bit). كما تتوفر أيضًا أدوات تصور بديلة، منها Superset وMetabase.
لماذا تستخدم ClickHouse؟
- Compression - تحتوي بيانات رصد عادةً على حقول تكون قيمها مأخوذة من مجموعة محدودة، مثل رموز HTTP أو أسماء الخدمات. ويعني التخزين column-oriented في ClickHouse، حيث تُخزَّن القيم بترتيب منظّم، أن هذه البيانات تنضغط بكفاءة عالية جدًا، خاصةً عند دمج ذلك مع مجموعة من codecs المتخصصة لبيانات time-series. وعلى عكس مخازن البيانات الأخرى التي تتطلب عادةً مساحة تخزين تقارب الحجم الأصلي للبيانات، وغالبًا ما تكون بصيغة JSON، يضغط ClickHouse السجلات وآثار التتبع بمتوسط يصل إلى 14x. وإلى جانب تحقيق وفورات كبيرة في التخزين لعمليات نشر رصد واسعة النطاق، يساعد هذا الضغط أيضًا على تسريع الاستعلامات لأن كمية أقل من البيانات تحتاج إلى القراءة من disk.
- Fast Aggregations - تعتمد حلول رصد بدرجة كبيرة على عرض البيانات بصريًا من خلال charts، مثل الخطوط التي تُظهر معدلات الأخطاء أو المخططات الشريطية التي تُظهر مصادر الزيارات. وتُعد aggregations، أو GROUP BYs، عنصرًا أساسيًا لتشغيل هذه charts، والتي يجب أن تكون أيضًا سريعة ومتجاوبة عند تطبيق filters ضمن workflows لتشخيص المشكلات. ويُعد التنسيق column-oriented في ClickHouse، إلى جانب محرك vectorized query execution، مثاليًا لإجراء aggregations سريعة، بينما يتيح sparse indexing تصفية البيانات بسرعة استجابةً لإجراءات المستخدم.
- Fast Linear scans - بينما تعتمد التقنيات البديلة على الفهارس المعكوسة للاستعلام السريع عن السجلات، فإن ذلك يؤدي في العادة إلى ارتفاع استهلاك disk والموارد. ومع أن ClickHouse يوفر الفهارس المعكوسة كنوع فهرسة إضافي اختياري، فإن الفحوصات الخطية متوازية بدرجة كبيرة وتستخدم جميع الأنوية المتاحة على الجهاز (ما لم يُضبط خلاف ذلك). وهذا يتيح نظريًا فحص عشرات الجيجابايت في الثانية (مضغوطة) للعثور على التطابقات باستخدام عوامل مطابقة النصوص المحسّنة للغاية.
- Familiarity of SQL - تُعد SQL لغة شائعة ومألوفة لجميع المهندسين. وبعد أكثر من 50 عامًا من التطوير، أثبتت نفسها بوصفها اللغة الفعلية لتحليلات البيانات، ولا تزال ثالث أكثر لغات البرمجة شعبية. ورصد ليست سوى مشكلة بيانات أخرى تُعد SQL مثالية لها.
- Analytical functions - يوسّع ClickHouse معيار ANSI SQL بوظائف تحليلية صُممت لجعل استعلامات SQL أبسط وأسهل كتابةً. وهذه الوظائف ضرورية إذا كنت تجري تحليل الأسباب الجذرية حيث يلزم تفكيك البيانات وتحليلها من زوايا متعددة.
- Secondary indices - يدعم ClickHouse الفهارس الثانوية، مثل bloom filters، لتسريع أنماط استعلامات محددة. ويمكن تمكينها اختياريًا على مستوى العمود، مما يمنح المستخدم تحكمًا دقيقًا ويتيح له تقييم المفاضلة بين التكلفة والأداء.
- Open-source & Open standards - باعتباره database مفتوح المصدر، يتبنّى ClickHouse المعايير المفتوحة مثل OpenTelemetry. كما أن القدرة على المساهمة والمشاركة الفعالة في المشاريع تُعد ميزة جذابة، مع تجنّب تحديات الارتباط بمورّد واحد.
متى ينبغي استخدام ClickHouse للرصد
- كنت أنت أو أعضاء فريقك على دراية بـ SQL (أو ترغبون في تعلّمه)
- كنت تفضّل الالتزام بالمعايير المفتوحة مثل OpenTelemetry لتجنّب الارتهان وتحقيق القابلية للتوسّع.
- كنت مستعدًا لتشغيل منظومة مدفوعة بابتكار البرمجيات مفتوحة المصدر، من الجمع إلى التخزين والتصور.
- كنت تتوقع نموًا إلى أحجام متوسطة أو كبيرة من بيانات الرصد الخاضعة للإدارة (أو حتى أحجامًا كبيرة جدًا)
- كنت تريد التحكّم في TCO (إجمالي تكلفة الملكية) وتجنّب تصاعد تكاليف الرصد.
- كنت لا تستطيع، أو لا تريد، أن تبقى عالقًا بفترات احتفاظ قصيرة لبيانات الرصد لديك لمجرّد التحكّم في التكاليف.
- كان تعلّم SQL (أو حتى توليده!) غير جذاب لك أو لأعضاء فريقك.
- كنت تبحث عن تجربة رصد متكاملة ومعلّبة من البداية إلى النهاية.
- كانت أحجام بيانات الرصد لديك صغيرة جدًا بحيث لا تُحدث فرقًا يُذكر (مثلًا <150 GiB)، وليس من المتوقع أن تنمو.
- كانت حالة الاستخدام لديك تعتمد بكثافة على المقاييس وتحتاج إلى PromQL. في هذه الحالة، لا يزال بإمكانك استخدام ClickHouse للسجلات والتتبّع إلى جانب Prometheus للمقاييس، مع توحيد ذلك في طبقة العرض باستخدام Grafana.
- كنت تفضّل الانتظار حتى تنضج المنظومة أكثر ويصبح الرصد القائم على SQL أكثر جاهزية للاستخدام المباشر.
السجلات والتتبعات
- السجلات - السجلات هي تسجيلات زمنية للأحداث التي تقع داخل النظام، وتلتقط معلومات تفصيلية عن جوانب مختلفة من عمليات البرمجيات. وتكون البيانات في السجلات عادةً غير منظَّمة أو شبه منظَّمة، وقد تتضمن رسائل الخطأ، وسجلات نشاط المستخدم، وتغييرات النظام، وأحداثًا أخرى. وتُعد السجلات ضرورية لاستكشاف الأخطاء وإصلاحها، واكتشاف الشذوذ، وفهم الأحداث المحددة التي تسبق المشكلات داخل النظام.
- التتبعات - ترصد التتبعات رحلة الطلبات أثناء مرورها عبر خدمات مختلفة في نظام موزّع، فتوضح مسار هذه الطلبات وأداءها. وتكون البيانات في التتبعات عالية التنظيم، إذ تتكوّن من spans وtraces ترسم كل خطوة يمر بها الطلب، بما في ذلك معلومات التوقيت. وتوفّر التتبعات رؤى قيّمة حول أداء النظام، مما يساعد على تحديد مواطن الاختناق ومشكلات زمن الاستجابة وتحسين كفاءة الخدمات المصغّرة.
المقاييسرغم إمكانية استخدام ClickHouse لتخزين بيانات المقاييس، فإن هذه الركيزة لا تزال أقل نضجًا في ClickHouse، إذ لم يكتمل بعد دعم ميزات مثل تنسيق بيانات Prometheus وPromQL.