system.tokenizers

Выполнение запросов в ClickHouse Cloud

Данные в этой системной таблице хранятся локально на каждом узле в ClickHouse Cloud. Поэтому для получения полного обзора всех данных требуется функция clusterAllReplicas. Подробности см. здесь.

Отображает все доступные токенизаторы. Их можно использовать в функциях tokens, hasAllTokens, hasAnyTokens и текстовом индексе.

Столбцы:

name (String) — Имя токенизатора

Пример

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
└─────────────────┘