COVID-19 Open-Data

COVID-19 Open-Data пытается собрать крупнейшую эпидемиологическую базу данных по Covid-19, наряду с мощным набором обширных ковариат. Она включает открытые, публично доступные лицензированные данные, касающиеся демографии, экономики, эпидемиологии, географии, здравоохранения, госпитализаций, мобильности, государственных мер, погоды и многого другого.

Подробности можно найти на GitHub здесь.

Легко вставить эти данные в ClickHouse...

примечание

Следующие команды были выполнены на Production экземпляре ClickHouse Cloud. Вы можете легко запустить их на локальной установке.

1. Давайте посмотрим, как выглядят данные:

CSV файл имеет 10 колонок:

2. Теперь давайте посмотрим некоторые строки:

Обратите внимание, что функция url легко считывает данные из CSV файла:

3. Теперь мы создадим таблицу, зная, как выглядят данные:

4. Следующая команда вставляет весь набор данных в таблицу covid19:

5. Это происходит довольно быстро - давайте посмотрим, сколько строк было вставлено:

6. Давайте посмотрим, сколько случаев Covid-19 было зарегистрировано:

7. Вы заметите, что в данных много нулей по датам - либо выходные, либо дни, когда данные не были сообщены каждый день. Мы можем использовать оконную функцию, чтобы сгладить средние значения новых случаев за день:

8. Этот запрос определяет последние значения для каждого местоположения. Мы не можем использовать max(date), так как не все страны сообщали данные каждый день, поэтому мы берем последнюю строку, используя ROW_NUMBER:

9. Мы можем использовать lagInFrame, чтобы определить LAG новых случаев каждый день. В этом запросе мы фильтруем по местоположению US_DC:

Ответ выглядит следующим образом:

10. Этот запрос вычисляет процент изменения новых случаев каждый день и включает простую колонку increase или decrease в результирующем наборе:

Результаты выглядят так:

примечание

Как упомянуто в репозитории GitHub, набор данных больше не обновляется с 15 сентября 2022 года.