CityHash
ClickHouse использует одну из предыдущих версий CityHash от Google.
CityHash изменил алгоритм после того, как мы добавили его в ClickHouse.
Документация CityHash специально отмечает, что пользователю не следует полагаться на конкретные значения хеша и не следует их сохранять или использовать в качестве ключа шардирования.
Но так как мы открыли эту функцию для пользователя, нам пришлось зафиксировать версию CityHash (до 1.0.2). И теперь мы гарантируем, что поведение функций CityHash, доступных в SQL, не изменится.
— Алексей Миловидов
Текущая версия CityHash от Google отличается от варианта cityHash64 в ClickHouse.
Не используйте farmHash64 для получения значения CityHash от Google! FarmHash является преемником CityHash, но они не полностью совместимы.
| Строка | ClickHouse64 | CityHash64 | FarmHash64 |
|---|---|---|---|
Москва | 12507901496292878638 | 5992710078453357409 | 5992710078453357409 |
Как можно написать большую систему без C++? -Пол Глик | 6237945311650045625 | 749291162957442504 | 11716470977470720228 |
Также смотрите Введение в CityHash для описания и обоснования создания. Кратко: некриптографический хеш, который быстрее, чем MurmurHash, но более сложный.
Реализации
Go
Вы можете использовать пакет go-faster/city для Go, который реализует оба варианта.