Перенос данных из облачного объектного хранилища в ClickHouse Cloud

Если вы используете облачное объектное хранилище как озеро данных и хотите импортировать эти данные в ClickHouse Cloud или если ваша текущая система баз данных может напрямую выгружать данные в облачное объектное хранилище, вы можете использовать одну из табличных функций для миграции данных, хранящихся в облачном объектном хранилище, в таблицу ClickHouse Cloud:

• s3 или s3Cluster
• gcs
• azureBlobStorage

Если ваша текущая система баз данных не может напрямую выгружать данные в облачное объектное хранилище, вы можете использовать сторонний ETL/ELT‑инструмент или clickhouse-local для переноса данных из вашей текущей системы баз данных в облачное объектное хранилище, а затем на втором шаге перенести эти данные в таблицу ClickHouse Cloud.

Хотя это двухэтапный процесс (сначала выгрузка данных в облачное объектное хранилище, затем загрузка в ClickHouse), его преимущество в том, что он масштабируется до PB благодаря надежной поддержке в ClickHouse Cloud высокопараллельного чтения из облачного объектного хранилища. Также вы можете использовать сложные и сжатые форматы, такие как Parquet.

Есть статья в блоге с конкретными примерами кода, показывающими, как загружать данные в ClickHouse Cloud с помощью S3.