Функции разделения строк

​

alphaTokens

alphaTokens(s[, max_substrings])

• s — Строка, которую нужно разбить. String
• max_substrings — Необязательно. Если max_substrings > 0, количество возвращаемых подстрок будет не больше max_substrings, в противном случае функция вернёт максимально возможное число подстрок. Int64

SELECT alphaTokens('abca1abc');

┌─alphaTokens('abca1abc')─┐
│ ['abca','abc']          │
└─────────────────────────┘

​

arrayStringConcat

arrayStringConcat(arr[, separator])

• arr — Массив, элементы которого нужно объединить. Array(T)
• separator — Необязательный параметр. Строка-разделитель. По умолчанию — пустая строка. const String

SELECT arrayStringConcat(['12/05/2021', '12:50:00'], ' ') AS DateString;

┌─DateString──────────┐
│ 12/05/2021 12:50:00 │
└─────────────────────┘

​

extractAllGroupsVertical

extractAllGroupsVertical(s, regexp)

• s — Входная строка, из которой нужно выполнить извлечение. String или FixedString
• regexp — Регулярное выражение для поиска совпадений. const String или const FixedString

WITH '< Server: nginx
< Date: Tue, 22 Jan 2019 00:26:14 GMT
< Content-Type: text/html; charset=UTF-8
< Connection: keep-alive
' AS s
SELECT extractAllGroupsVertical(s, '< ([\\w\\-]+): ([^\\r\\n]+)');

[['Server','nginx'],['Date','Tue, 22 Jan 2019 00:26:14 GMT'],['Content-Type','text/html; charset=UTF-8'],['Connection','keep-alive']]

​

naiveBayesNgrams

naiveBayesNgrams(text, n, mode[, start_token, end_token])

• text — Текст для разбиения на n-граммы. String
• n — Размер n-граммы, от 1 до 1024. const UInt
• mode — Режим токенизации: ‘byte’, ‘codepoint’ или ‘token’. const String
• start_token — Необязательно. Граничный токен, добавляемый в начало входного текста (n-1) раз; число для ‘byte’/‘codepoint’, литерал для ‘token’. Пустое значение означает отсутствие дополнения. const String
• end_token — Необязательно. Граничный токен, добавляемый в конец входного текста (n-1) раз. const String

SELECT naiveBayesNgrams('the cat sat', 2, 'token');

['the cat','cat sat']

SELECT naiveBayesNgrams('cat', 2, 'token', '<s>', '</s>');

['<s> cat','cat </s>']

SELECT arrayMap(x -> hex(x), naiveBayesNgrams('xy', 2, 'byte', '0x01', '0xFF'));

['0178','7879','79FF']

SELECT arrayMap(x -> hex(x), naiveBayesNgrams('ab', 2, 'codepoint', '0x10FFFE', '0x10FFFF'));

['F48FBFBE61','6162','62F48FBFBF']

​

ngrams

ngrams(s, N)

• s — Входная строка. String или FixedString
• N — Длина n-граммы. const UInt8/16/32/64

SELECT ngrams('ClickHouse', 3);

['Cli','lic','ick','ckH','kHo','Hou','ous','use']

​

reverseBySeparator

• reverseBySeparator(‘www.google.com’) returns ‘com.google.www’
• reverseBySeparator(‘a/b/c’, ’/’) returns ‘c/b/a’
• reverseBySeparator(‘x::y::z’, ’::’) returns ‘z::y::x’

reverseBySeparator(string[, separator])

• string — Входная строка, порядок частей которой нужно обратить. String
• separator — Строка-разделитель, используемая для выделения частей. Если не указана, используется ’.’ (точка). По умолчанию: ’.’ String

SELECT reverseBySeparator('www.google.com')

com.google.www

SELECT reverseBySeparator('a/b/c', '/')

c/b/a

SELECT reverseBySeparator('x::y::z', '::')

z::y::x

SELECT reverseBySeparator('.a.b.', '.')

.b.a.

SELECT reverseBySeparator('single')

single

SELECT reverseBySeparator('abcde', '')

edcba

​

splitByChar

• Разделитель находится в начале или в конце строки
• Подряд встречается несколько разделителей
• Исходная строка s пуста

splitByChar(separator, s[, max_substrings])

• separator — Разделитель должен быть однобайтовым символом. String
• s — Строка, которую нужно разделить. String
• max_substrings — Необязательно. Если max_substrings > 0, возвращаемый массив будет содержать не более max_substrings подстрок; в противном случае функция вернет максимально возможное количество подстрок. Значение по умолчанию — 0. Int64

SELECT splitByChar(',', '1,2,3,abcde');

┌─splitByChar(',', '1,2,3,abcde')─┐
│ ['1','2','3','abcde']           │
└─────────────────────────────────┘

​

splitByNonAlpha

splitByNonAlpha(s[, max_substrings])

• s — Строка, которую нужно разделить. String
• max_substrings — Необязательно. Если max_substrings > 0, число возвращаемых подстрок не превысит max_substrings, в противном случае функция вернет максимально возможное количество подстрок. Значение по умолчанию: 0. Int64

SELECT splitByNonAlpha('user@domain.com');

['user','domain','com']

​

splitByRegexp

• совпадение непустого регулярного выражения находится в начале или в конце строки
• есть несколько последовательных совпадений непустого регулярного выражения
• исходная строка пуста, а регулярное выражение не пусто.

splitByRegexp(regexp, s[, max_substrings])

• regexp — Регулярное выражение. Константа. String или FixedString
• s — Строка, которую нужно разделить. String
• max_substrings — Необязательно. Если max_substrings > 0, количество возвращаемых подстрок не будет превышать max_substrings, в противном случае функция вернёт столько подстрок, сколько возможно. Значение по умолчанию: 0. Int64

SELECT splitByRegexp('\\d+', 'a12bc23de345f');

┌─splitByRegexp('\\d+', 'a12bc23de345f')─┐
│ ['a','bc','de','f']                    │
└────────────────────────────────────────┘

SELECT splitByRegexp('', 'abcde');

┌─splitByRegexp('', 'abcde')─┐
│ ['a','b','c','d','e']      │
└────────────────────────────┘

​

splitByString

• Непустой разделитель находится в начале или в конце строки
• Идут подряд несколько непустых разделителей
• Исходная строка s пуста, а разделитель непустой

splitByString(separator, s[, max_substrings])

• separator — Разделитель. String
• s — Строка, которую нужно разделить. String
• max_substrings — Необязательный параметр. Если max_substrings > 0, число возвращаемых подстрок не будет превышать max_substrings; в противном случае функция вернёт максимально возможное число подстрок. Значение по умолчанию: 0. Int64

SELECT splitByString(', ', '1, 2 3, 4,5, abcde');

┌─splitByString(', ', '1, 2 3, 4,5, abcde')─┐
│ ['1','2 3','4,5','abcde']                 │
└───────────────────────────────────────────┘

SELECT splitByString('', 'abcde');

┌─splitByString('', 'abcde')─┐
│ ['a','b','c','d','e']      │
└────────────────────────────┘

​

splitByWhitespace

splitByWhitespace(s[, max_substrings])

• s — Строка, которую нужно разделить. String
• max_substrings — Необязательно. Если max_substrings > 0, количество возвращаемых подстрок не будет превышать max_substrings, в противном случае функция вернет максимально возможное количество подстрок. Значение по умолчанию: 0. Int64

SELECT splitByWhitespace('  1!  a,  b.  ');

['1!','a,','b.']

​

tokens

• splitByNonAlpha разбивает строки по неалфавитно-цифровым ASCII-символам (см. также функцию splitByNonAlpha).
• splitByString(S) разбивает строки по заданным пользователем строкам-разделителям S (см. также функцию splitByString). Разделители можно указать с помощью необязательного параметра, например, tokens(value, 'splitByString', [', ', '; ', '\n', '\\']). Обратите внимание, что каждая строка может состоять из нескольких символов (', ' в примере). Если список разделителей явно не задан, по умолчанию используется один пробельный символ [' '].
• splitByRegexp(regexp[, match_tokens]) разбивает строки согласно заданному пользователем регулярному выражению regexp. Регулярное выражение обязательно, например, tokens(value, 'splitByRegexp', '[^\p{L}\p{N}#+]+'). Если необязательный аргумент match_tokens оставлен со значением по умолчанию (false; также допускаются 0/1), regexp является разделителем (см. также функцию splitByRegexp). При match_tokens = true вместо этого выполняется прямое сопоставление с regexp: каждое совпадение даёт не более одного токена — свою первую группу захвата либо всё совпадение целиком, если в regexp нет групп захвата, — а всё, что находится вне совпадений, отбрасывается; например, tokens('tag:hello tag:world', 'splitByRegexp', 'tag:(\w+)', true) возвращает ['hello', 'world'].
• asciiCJK разбивает строки на токены, используя правила границ слов Unicode (аналогично UAX #29). ASCII-буквенно-цифровые символы и символы подчёркивания образуют токены с соединителями (: для букв, . и ' для символов одного типа). Символы Unicode вне ASCII становятся односимвольными токенами.
• chinese сегментирует китайский текст на слова с помощью словаря и скрытой марковской модели (алгоритм основан на jieba; встроенные данные словаря и модели взяты из cppjieba). В отличие от asciiCJK, который рассматривает каждый символ вне ASCII как односимвольный токен, chinese группирует последовательные китайские символы в слова, что даёт более содержательные токены и повышает качество поиска по китайскому тексту. Необязательный аргумент granularity принимает значение coarse_grained (по умолчанию) или fine_grained; последнее дополнительно перечисляет перекрывающиеся подслова, повышая полноту поиска за счёт увеличения индекса.
• icu(locale) разбивает строки на токены-слова с помощью сегментации слов Unicode (UAX #29) из библиотеки ICU. Для письменностей без пробелов между словами (например, китайской, японской и тайской) ICU применяет сегментацию на основе словаря, поэтому такой текст разбивается на значимые слова. locale — это локаль ICU, передаваемая сегментатору (сегментация в основном определяется письменностью и словарём; локаль выбирает специфичные для локали настройки ICU); этот параметр обязателен и передаётся как отдельный аргумент, например tokens(value, 'icu', 'ja').
• japanese разбивает японский текст на слова с помощью морфологического анализатора MeCab. Требует словаря, настроенного в конфигурации сервера (см. документацию по текстовому индексу).
• ngrams(N) разбивает строки на N-граммы одинаковой длины (см. также функцию ngrams). Длину n-граммы можно указать с помощью необязательного целочисленного параметра от 1 до 8, например, tokens(value, 'ngrams', 3). Если размер n-граммы явно не задан, по умолчанию используется 3.
• sparseGrams(min_length, max_length, min_cutoff_length) разбивает строки на n-граммы переменной длины: не менее min_length и не более max_length символов включительно (см. также функцию sparseGrams). Если не указано иное, значения min_length и max_length по умолчанию равны 3 и 100. Если передан параметр min_cutoff_length, возвращаются только n-граммы длиной не меньше min_cutoff_length. По сравнению с ngrams(N), токенизатор sparseGrams создаёт N-граммы переменной длины, что позволяет гибче представлять исходный текст. Например, tokens(value, 'sparseGrams', 3, 5, 4) внутренне генерирует из входной строки 3-, 4- и 5-граммы, но возвращаются только 4- и 5-граммы.
• array не выполняет токенизацию, то есть каждое значение в строке является токеном (см. также функцию array). Для совместимости с другими системами keyword доступен как псевдоним array.

tokens(value) -- 'splitByNonAlpha' tokenizer
tokens(value, 'splitByNonAlpha')
tokens(value, 'splitByString'[, separators])
tokens(value, 'splitByRegexp', regexp[, match_tokens])
tokens(value, 'asciiCJK')
tokens(value, 'chinese'[, granularity])
tokens(value, 'icu', locale)
tokens(value, 'japanese')
tokens(value, 'ngrams'[, n])
tokens(value, 'sparseGrams'[, min_length, max_length[, min_cutoff_length]])
tokens(value, 'array')

• value — Входная строка. String или FixedString
• tokenizer — Используемый токенизатор. Допустимые аргументы: splitByNonAlpha, splitByString, splitByRegexp, asciiCJK, chinese, icu, japanese, ngrams, sparseGrams и array. Необязательный параметр; если явно не задан, по умолчанию используется splitByNonAlpha. const String
• locale — Имеет значение только в том случае, если аргумент tokenizer равен icu: обязательная локаль, например 'ja'. const String
• n — Имеет значение только в том случае, если аргумент tokenizer равен ngrams: необязательный параметр, определяющий длину n-грамм. Если явно не задан, по умолчанию используется 3. const UInt8
• separators — Имеет значение только в том случае, если аргумент tokenizer равен split: необязательный параметр, определяющий строки-разделители. Если явно не задан, по умолчанию используется [' ']. const Array(String)
• regexp — Имеет значение только в том случае, если аргумент tokenizer равен splitByRegexp: обязательный параметр, определяющий регулярное выражение. const String
• match_tokens — Имеет значение только в том случае, если аргумент tokenizer равен splitByRegexp: необязательный параметр. Если false (по умолчанию), regexp является разделителем (разбиение выполняется как в функции splitByRegexp). Если true, regexp сопоставляется напрямую, и каждое совпадение даёт в качестве токена свою первую группу захвата (или всё совпадение, если в regexp групп нет). const Bool
• min_length — Имеет значение только в том случае, если аргумент tokenizer равен sparseGrams: необязательный параметр, определяющий минимальную длину граммы; значение по умолчанию — 3. const UInt8
• max_length — Имеет значение только в том случае, если аргумент tokenizer равен sparseGrams: необязательный параметр, определяющий максимальную длину граммы; значение по умолчанию — 100. const UInt8
• min_cutoff_length — Имеет значение только в том случае, если аргумент tokenizer равен sparseGrams: необязательный параметр, определяющий минимальную длину отсечения. const UInt8
• granularity — Имеет значение только в том случае, если аргумент tokenizer равен chinese: необязательный параметр — coarse_grained (по умолчанию) или fine_grained, — управляющий детализацией сегментации. const String

SELECT tokens('test1,;\\\\ test2,;\\\\ test3,;\\\\   test4') AS tokens;

['test1','test2','test3','test4']

SELECT tokens('abc def', 'ngrams', 3) AS tokens;

['abc','bc ','c d',' de','def']

SELECT tokens('tag:hello tag:world', 'splitByRegexp', 'tag:(\w+)', true) AS tokens;

['hello','world']

​

tokensForLikePattern

tokensForLikePattern(value[, tokenizer[, tokenizer_specific_arguments...]])

• value — Входная строка. String или FixedString
• tokenizer — Используемый токенизатор. Допустимые аргументы: splitByNonAlpha, splitByString, asciiCJK, ngrams, sparseGrams и array. Необязательный параметр; если он не задан явно, по умолчанию используется splitByNonAlpha. const String
• n — Актуально только для аргумента tokenizer со значением ngrams: необязательный параметр, определяющий длину n-грамм. Если он не задан явно, по умолчанию используется 3. const UInt8
• separators — Актуально только для аргумента tokenizer со значением split: необязательный параметр, определяющий строки-разделители. Если он не задан явно, по умолчанию используется [' ']. const Array(String)
• min_length — Актуально только для аргумента tokenizer со значением sparseGrams: необязательный параметр, определяющий минимальную длину граммы; по умолчанию — 3. const UInt8
• max_length — Актуально только для аргумента tokenizer со значением sparseGrams: необязательный параметр, определяющий максимальную длину граммы; по умолчанию — 100. const UInt8
• min_cutoff_length — Актуально только для аргумента tokenizer со значением sparseGrams: необязательный параметр, определяющий минимальную длину отсечения. const UInt8

SELECT tokensForLikePattern('%test1,test2,test3%') AS tokens;

['test2']