Перемещение данных из Объектного Хранилища в ClickHouse Cloud

Если вы используете Объектное Хранилище как хранилище данных и хотите импортировать эти данные в ClickHouse Cloud, или если ваша текущая система баз данных может напрямую выгружать данные в Объектное Хранилище, тогда вы можете использовать одну из функций таблиц для миграции данных, хранящихся в Объектном Хранилище, в таблицу ClickHouse Cloud:

Если ваша текущая система баз данных не может напрямую выгружать данные в Объектное Хранилище, вы можете использовать инструмент ETL/ELT третьей стороны или clickhouse-local для перемещения данных из вашей текущей системы баз данных в Объектное Хранилище, с тем, чтобы в дальнейшем мигрировать эти данные во второй шаг в таблицу ClickHouse Cloud.

Хотя это двухступенчатый процесс (выгрузка данных в Объектное Хранилище, затем загрузка в ClickHouse), преимущества заключаются в том, что это масштабируется до петабайтов благодаря надежной поддержке ClickHouse Cloud высокопараллельных чтений из Объектного Хранилища. Также вы можете использовать сложные и сжатые форматы, такие как Parquet.

Существует статья в блоге с конкретными примерами кода, показывающая, как вы можете получить данные в ClickHouse Cloud с помощью S3.