Функции для обработки естественного языка (NLP)

SELECT detectCharset('Ich bleibe für ein paar Tage.')

WINDOWS-1252

SELECT detectLanguage('Je pense que je ne parviendrai jamais à parler français comme un natif. Where there\'s a will, there\'s a way.')

fr

SELECT detectLanguageMixed('二兎を追う者は一兎をも得ず二兎を追う者は一兎をも得ず A vaincre sans peril, on triomphe sans gloire.')

{'ja':0.62,'fr':0.36}

SELECT detectLanguageUnknown('Ich bleibe für ein paar Tage.')

de

SELECT
    detectTonality('Шарик - хороший пёс'),
    detectTonality('Шарик - пёс'),
    detectTonality('Шарик - плохой пёс')

0.44445, 0, -0.3

SELECT lemmatize('en', 'wolves')

wolf

SELECT stem('blessing', 'en') AS res

bless

SELECT stem(['blessing', 'disguise'], 'en') AS res

['bless','disguis']

SELECT stem(toFixedString('blessing', 10), 'en') AS res

bless

SELECT stem(toNullable('blessing'), 'en') AS res

bless

SELECT synonyms('list', 'important')

['important','big','critical','crucial']