دوال تعلّم الآلة - ClickHouse Documentation

evalMLMethod

لإجراء التنبؤ باستخدام نماذج الانحدار المُقدَّرة، تُستخدَم الدالة evalMLMethod. راجع الرابط ضمن linearRegression.

stochasticLinearRegression

تُنفِّذ دالة التجميع stochasticLinearRegression أسلوب الانحدار المتدرّج العشوائي باستخدام نموذج خطي ودالة خسارة MSE. وتستخدم evalMLMethod للتنبؤ بالبيانات الجديدة.

stochasticLogisticRegression

تُنفِّذ دالة التجميع stochasticLogisticRegression أسلوب الهبوط التدريجي العشوائي لمشكلة التصنيف الثنائي. وتستخدم evalMLMethod للتنبؤ بالبيانات الجديدة.

naiveBayesClassifier

يُصنّف النص المُدخل باستخدام نموذج Naive Bayes مع n-grams وتنعيم لابلاس. يجب تهيئة النموذج في ClickHouse قبل استخدامه. البنية

naiveBayesClassifier(model_name, input_text);

الوسائط

model_name — اسم النموذج المُعَدّ مسبقًا. String يجب أن يكون النموذج معرّفًا في ملفات تكوين ClickHouse (انظر أدناه).
input_text — النص المراد تصنيفه. String تُعالَج المدخلات تمامًا كما أُدخِلت (مع الحفاظ على حالة الأحرف وعلامات الترقيم).

القيمة المعادة

معرّف الفئة المتوقعة على هيئة عدد صحيح غير موقّع. UInt32 تتوافق معرّفات الفئات مع التصنيفات المحددة أثناء إنشاء النموذج.

مثال صنّف نصًا باستخدام نموذج لاكتشاف اللغة:

SELECT naiveBayesClassifier('language', 'How are you?');

┌─naiveBayesClassifier('language', 'How are you?')─┐
│ 0                                                │
└──────────────────────────────────────────────────┘

قد تمثل النتيجة 0 اللغة الإنجليزية، بينما قد تشير 1 إلى الفرنسية — إذ تعتمد دلالات الفئات على بيانات التدريب لديك.

تفاصيل التنفيذ

الخوارزمية تستخدم خوارزمية التصنيف Naive Bayes مع تنعيم لابلاس للتعامل مع تسلسلات n-gram غير المرصودة، وذلك بالاستناد إلى احتمالات n-gram كما هو موضح هنا. الميزات الرئيسية

تدعم تسلسلات n-gram بأي طول
ثلاثة أوضاع للتقسيم إلى رموز:
- byte: يعمل على البايتات الخام. كل بايت يُعد رمزًا واحدًا.
- codepoint: يعمل على القيم القياسية في Unicode المفككة من UTF‑8. كل نقطة ترميز تُعد رمزًا واحدًا.
- token: يُقسِّم عند تتابعات المسافات البيضاء في Unicode (regex \s+). تكون الرموز سلاسل فرعية غير بيضاء؛ وتُعد علامات الترقيم جزءًا من الرمز إذا كانت ملاصقة له (على سبيل المثال، “you?” يُعد رمزًا واحدًا).

إعداد النموذج

يمكنك العثور على شيفرة مصدرية نموذجية لإنشاء نموذج Naive Bayes لاكتشاف اللغة هنا. بالإضافة إلى ذلك، تتوفر نماذج نموذجية وملفات التكوين المرتبطة بها هنا. فيما يلي مثال على إعداد نموذج Naive Bayes في ClickHouse:

<clickhouse>
    <nb_models>
        <model>
            <name>sentiment</name>
            <path>/etc/clickhouse-server/config.d/sentiment.bin</path>
            <n>2</n>
            <mode>token</mode>
            <alpha>1.0</alpha>
            <priors>
                <prior>
                    <class>0</class>
                    <value>0.6</value>
                </prior>
                <prior>
                    <class>1</class>
                    <value>0.4</value>
                </prior>
            </priors>
        </model>
    </nb_models>
</clickhouse>

معلمات الإعداد

المعلمة	الوصف	مثال	الافتراضي
name	معرّف فريد للنموذج	`language_detection`	مطلوب
path	المسار الكامل للملف التنفيذي الخاص بالنموذج	`/etc/clickhouse-server/config.d/language_detection.bin`	مطلوب
mode	طريقة تجزئة النص: - `byte`: تسلسلات بايت - `codepoint`: نقاط ترميز Unicode - `token`: رموز الكلمات	`token`	مطلوب
n	حجم `n-gram` (في وضع `token`): - `1`=كلمة واحدة - `2`=أزواج كلمات - `3`=ثلاثيات كلمات	`2`	مطلوب
alpha	معامل تنعيم لابلاس المستخدم أثناء التصنيف لمعالجة سلاسل `n-grams` التي لا تظهر في النموذج	`0.5`	`1.0`
priors	احتمالات الفئات (% من المستندات التي تنتمي إلى فئة)	60% للفئة 0، 40% للفئة 1	توزيع متساوٍ

دليل تدريب النموذج تنسيق الملف بتنسيق مقروء بشريًا، بالنسبة إلى n=1 ووضع token، قد يبدو النموذج كما يلي:

<class_id> <n-gram> <count>
0 excellent 15
1 refund 28

بالنسبة إلى n=3 ونمط codepoint، فقد يبدو الأمر كما يلي:

<class_id> <n-gram> <count>
0 exc 15
1 ref 28

لا يستخدم ClickHouse التنسيق المقروء للبشر مباشرةً؛ إذ يجب تحويله إلى التنسيق الثنائي الموضّح أدناه. تفاصيل التنسيق الثنائي يُخزَّن كل n-gram كما يلي:

class_id بحجم 4 بايت (UInt، little-endian)
طول بايتات n-gram بحجم 4 بايت (UInt، little-endian)
بايتات n-gram الخام
count بحجم 4 بايت (UInt، little-endian)

متطلبات المعالجة المسبقة قبل إنشاء النموذج من مجموعة المستندات، يجب إجراء معالجة مسبقة للمستندات لاستخراج n-grams وفقًا للقيمتين المحددتين mode وn. توضّح الخطوات التالية هذه المعالجة المسبقة:

أضف علامات الحدود في بداية كل مستند ونهايته استنادًا إلى وضع تقطيع الرموز:
- Byte: 0x01 (البداية)، 0xFF (النهاية)
- نقطة ترميز: U+10FFFE (البداية)، U+10FFFF (النهاية)
- Token: <s> (البداية)، </s> (النهاية)
ملاحظة: تُضاف (n - 1) من الرموز في كلٍّ من بداية المستند ونهايته.
Example على n=3 في وضع token:
- المستند: "ClickHouse is fast"
- تتم معالجته على النحو التالي: <s> <s> ClickHouse is fast </s> </s>
- مقاطع trigram المُولَّدة:
  - <s> <s> ClickHouse
  - <s> ClickHouse is
  - ClickHouse is fast
  - is fast </s>
  - fast </s> </s>

لتبسيط إنشاء النموذج لوضعي byte ونقطة ترميز، قد يكون من المناسب أولًا تقسيم المستند إلى رموز (قائمة من قيم byte في وضع byte، وقائمة من قيم نقطة ترميز في وضع نقطة ترميز). بعد ذلك، أضِف n - 1 من رموز البداية في أول المستند وn - 1 من رموز النهاية في آخره. وأخيرًا، أنشئ n-grams واكتبها في الملف المُسلسَل.

evalMLMethod

أُضيفت في: v20.1.0 تُطبِّق نموذج تعلّم آلي مُدرَّبًا على سمات الإدخال لتوليد تنبؤات. الصيغة

evalMLMethod(model, x1[, x2, ...])

المعاملات

model — نموذج تعلّم آلي مُدرَّب. AggregateFunctionState
x1, x2, ... — قيم السمات المستخدمة للتنبؤ. Float* أو (U)Int*

القيمة المُعادة تُرجِع القيمة المتوقعة استنادًا إلى النموذج المُدرَّب. Float64 أمثلة مثال على الاستخدام

Query

SELECT
evalMLMethod(model, trip_distance),
total_amount
FROM trips
LEFT JOIN models ON year = toYear(pickup_datetime)
LIMIT 5

Response

┌─evalMLMethod(model, trip_distance)─┬─total_amount─┐
│ 8.087692004204174                  │ 5.4          │
│ 7.861181608305352                  │ 4.6          │
│ 26.661544467907536                 │ 23.4         │
│ 8.767223191900637                  │ 5.8          │
│ 10.80581675499003                  │ 9            │
└────────────────────────────────────┴──────────────┘

naiveBayesClassifier

أُضيف في: v25.11.0 يُصنّف النص المُدخل باستخدام قاموس NAIVE_BAYES. ويُرجع قيمة الفئة المتوقعة نفسها التي تُرجعها dictGet(dictionary_name, class_attribute, input_text)، حيث إن class_attribute هو اسم سمة تصنيف الفئة المُهيأة في التخطيط الخاصة بالقاموس. وعلى عكس dictGet، يكون نوع النتيجة دائمًا UInt32 بدلًا من النوع المُعلن لسمة الفئة، ويجب أن يكون input_text من النوع String (ولا يُطبَّق أي تحويل لنوع المفتاح).

هذه الدالة غير حتمية: قد تُرجع نتائج مختلفة للوسائط نفسها.

الصياغة

naiveBayesClassifier(dictionary_name, input_text)

المعاملات

dictionary_name — اسم قاموس يستخدم التخطيط NAIVE_BAYES. String
input_text — النص المراد تصنيفه. String

القيمة المعادة معرّف الفئة المتوقعة. UInt32 أمثلة تصنيف النص

Query

SELECT naiveBayesClassifier('model', 'some text');

Response

naiveBayesClassifierWithAllProbs

أُضيفت في: v26.7.0 تُصنِّف نص الإدخال باستخدام قاموس NAIVE_BAYES وتُرجِع جميع الفئات مع احتمالاتها، مرتبة من الأكثر احتمالًا إلى الأقل.

هذه الدالة غير حتمية: قد تُرجِع نتائج مختلفة للوسيطات نفسها.

الصيغة

naiveBayesClassifierWithAllProbs(dictionary_name, input_text)

المعاملات

dictionary_name — اسم قاموس ذي تخطيط NAIVE_BAYES. String
input_text — النص المراد تصنيفه. String

القيمة المُعادة مصفوفة من عناصر Tuple بالتنسيق (معرّف_الفئة، الاحتمال)، مرتبة من الأعلى احتمالًا إلى الأقل. Array(Tuple(UInt32, Float64)) أمثلة كل احتمالات الفئات

Query

SELECT naiveBayesClassifierWithAllProbs('model', 'some text');

Response

[(0,0.85),(1,0.15)]

naiveBayesClassifierWithProb

أُضيف في: v26.7.0 يُصنّف النص المُدخل باستخدام قاموس NAIVE_BAYES ويُرجع الفئة المتوقعة مع احتمالها.

هذه الدالة غير حتمية: قد تُرجع نتائج مختلفة للوسيطات نفسها.

البنية

naiveBayesClassifierWithProb(dictionary_name, input_text)

الوسائط

dictionary_name — اسم قاموس بتخطيط NAIVE_BAYES. String
input_text — النص المراد تصنيفه. String

القيمة المُعادة Tuple يتكوّن من (class_id, probability). Tuple(UInt32, Float64) أمثلة التصنيف مع الاحتمال

Query

SELECT naiveBayesClassifierWithProb('model', 'some text');

Response

(0,0.85)

​evalMLMethod

​stochasticLinearRegression

​stochasticLogisticRegression

​naiveBayesClassifier

​تفاصيل التنفيذ

​إعداد النموذج

​evalMLMethod

​naiveBayesClassifier

​naiveBayesClassifierWithAllProbs

​naiveBayesClassifierWithProb

evalMLMethod

stochasticLinearRegression

stochasticLogisticRegression

naiveBayesClassifier

تفاصيل التنفيذ

إعداد النموذج

evalMLMethod

naiveBayesClassifier

naiveBayesClassifierWithAllProbs

naiveBayesClassifierWithProb