Перейти к основному содержимому
Перейти к основному содержимому

Исторические метеорологические данные Тайваня

Этот набор данных содержит исторические метеорологические наблюдения за последние 128 лет. Каждая строка представляет собой измерение для определенной даты и времени на метеорологической станции.

Происхождение этого набора данных доступно здесь, а список номеров метеорологических станций можно найти здесь.

Источниками метеорологических наборов данных являются метеорологические станции, созданные Центральным управлением погоды (код станции начинается с C0, C1 и 4), а также сельскохозяйственные метеорологические станции, принадлежащие Совету сельского хозяйства (код станции, отличный от упомянутых выше):

  • StationId
  • MeasuredDate, время наблюдения
  • StnPres, атмосферное давление на станции
  • SeaPres, давление на уровне моря
  • Td, температура точки росы
  • RH, относительная влажность
  • Другие элементы, где это возможно

Загрузка данных​

Предварительно обработанные данные​

Набор данных также был перестроен с одного измерения на строку для идентификатора метеорологической станции и измеренной даты, т.е.

Легко выполнять запросы и удостовериться в том, что результирующая таблица менее разреженная, а некоторые элементы являются null, поскольку их не было возможности измерить на этой метеорологической станции.

Этот набор данных доступен по следующему адресу Google CloudStorage. Вы можете либо скачать набор данных на свой локальный компьютер (и вставить его с помощью клиента ClickHouse), либо вставить его напрямую в ClickHouse (см. Вставка из URL).

Чтобы скачать:

Оригинальные сырые данные​

Следующие детали касаются шагов по загрузке оригинальных сырых данных для их преобразования и конвертации по вашему желанию.

Загрузка​

Чтобы загрузить оригинальные сырые данные:

Получение метеорологических станций Тайваня​

Создание схемы таблицы​

Создайте таблицу MergeTree в ClickHouse (через клиент ClickHouse).

Вставка в ClickHouse​

Вставка из локального файла​

Данные можно вставлять из локального файла следующим образом (через клиент ClickHouse):

где /path/to представляет собой конкретный путь пользователя к локальному файлу на диске.

Ответ после вставки данных в ClickHouse будет следующим:

Вставка из URL​

Чтобы узнать, как ускорить этот процесс, пожалуйста, ознакомьтесь с нашей статьей в блоге о настройке загрузки больших объемов данных.

Проверка строк и размеров данных​

  1. Давайте посмотрим, сколько строк было вставлено:
  1. Давайте посмотрим, сколько дискового места было использовано для этой таблицы:

Примеры запросов​

Q1: Получить наибольшую температуру точки росы для каждой метеорологической станции в конкретном году​

Q2: Запрос сырых данных с заданным диапазоном времени, полями и метеорологической станцией​

Благодарности​

Мы хотели бы поблагодарить усилия Центрального управления погоды и Сельскохозяйственной метеорологической наблюдательной сети (Станция) Совета сельского хозяйства за подготовку, очистку и распространение этого набора данных. Мы ценим ваши усилия.

Ou, J.-H., Kuo, C.-H., Wu, Y.-F., Lin, G.-C., Lee, M.-H., Chen, R.-K., Chou, H.-P., Wu, H.-Y., Chu, S.-C., Lai, Q.-J., Tsai, Y.-C., Lin, C.-C., Kuo, C.-C., Liao, C.-T., Chen, Y.-N., Chu, Y.-W., Chen, C.-Y., 2023. Модель глубокого обучения, ориентированная на применение, для раннего предупреждения о риске вспышки риса на Тайване. Ecological Informatics 73, 101950. https://doi.org/10.1016/j.ecoinf.2022.101950 [13/12/2022]