CloudオブジェクトストレージからClickHouse Cloudへのデータ移行

Cloudオブジェクトストレージをデータレイクとして使用し、このデータをClickHouse Cloudにインポートしたい場合、または現在のデータベースシステムがデータをCloudオブジェクトストレージに直接オフロードできる場合は、Cloudオブジェクトストレージに保存されているデータをClickHouse Cloudテーブルに移行するためのテーブル関数の1つを使用できます：

• s3 または s3Cluster
• gcs
• azureBlobStorage

現在のデータベースシステムが直接Cloudオブジェクトストレージにデータをオフロードできない場合は、サードパーティETL/ELTツールやclickhouse-localを使用して、現在のデータベースシステムからCloudオブジェクトストレージにデータを移動し、そのデータを2段階でClickHouse Cloudテーブルに移行することができます。

このプロセスは2ステップ（Cloudオブジェクトストレージにデータをオフロードし、次にClickHouseにロードする）ですが、その利点は、Cloudオブジェクトストレージからの高い並列読み取りをサポートする堅牢なClickHouse Cloudによってペタバイトにスケールすることができる点です。また、Parquetのような高度な圧縮形式を活用することもできます。

具体的なコード例を示すブログ記事があり、S3を使用してClickHouse Cloudにデータを取り込む方法を説明しています。