Набор данных о ценах на недвижимость в Великобритании

Эти данные содержат цены, уплаченные за недвижимость в Англии и Уэльсе. Данные доступны с 1995 года, размер набора данных в не сжатом виде составляет около 4 GiB (что займет лишь около 278 MiB в ClickHouse).

• Источник: https://www.gov.uk/government/statistical-data-sets/price-paid-data-downloads
• Описание полей: https://www.gov.uk/guidance/about-the-price-paid-data
• Содержит данные HM Land Registry © Королевские авторские права и право на базу данных 2021 года. Эти данные лицензированы согласно Лицензии открытого правительства версии 3.0.

Создание таблицы

Предобработка и вставка данных

Мы будем использовать функцию url, чтобы передать данные в ClickHouse. Сначала нам нужно предобработать некоторые входящие данные, которые включают:

• разделение postcode на два разных столбца — postcode1 и postcode2, что лучше для хранения и запросов
• преобразование поля time в дату, так как оно содержит только время 00:00
• игнорирование поля UUid, так как нам не нужно его для анализа
• преобразование type и duration в более читаемые поля Enum с помощью функции transform
• преобразование поля is_new из строки с одним символом (Y/N) в поле UInt8 с 0 или 1
• удаление последних двух столбцов, так как они все имеют одно и то же значение (равное 0)

Функция url передает данные с веб-сервера в вашу таблицу ClickHouse. Следующая команда вставляет 5 миллионов строк в таблицу uk_price_paid:

Подождите, пока данные будут вставлены — это займет минуту или две в зависимости от скорости сети.

Проверка данных

Давайте проверим, все ли сработало, посмотрев, сколько строк было вставлено:

На момент выполнения этого запроса в наборе данных было 27,450,499 строк. Давайте посмотрим, каков размер таблицы в ClickHouse:

Обратите внимание, что размер таблицы составляет всего 221.43 MiB!

Выполнение некоторых запросов

Давайте выполнем некоторые запросы для анализа данных:

Запрос 1. Средняя цена за год

Запрос 2. Средняя цена за год в Лондоне

Что-то произошло с ценами на жилье в 2020 году! Но это, вероятно, не удивительно...

Запрос 3. Самые дорогие районы

Ускорение запросов с помощью проекций

Мы можем ускорить эти запросы с помощью проекций. См. "Проекции" для примеров с этим набором данных.

Протестируйте это в Площадке

Набор данных также доступен в Онлайн Площадке.