クラウドオブジェクトストレージからClickHouse Cloudへデータを移動する

クラウドオブジェクトストレージをデータレイクとして使用していて、そのデータをClickHouse Cloudにインポートしたい場合、または現在のデータベースシステムが直接クラウドオブジェクトストレージにデータをオフロードできる場合は、クラウドオブジェクトストレージに保存されたデータをClickHouse Cloudのテーブルにマイグレーションするためのテーブル関数のいずれかを使用できます。

• s3 または s3Cluster
• gcs
• azureBlobStorage

現在のデータベースシステムが直接クラウドオブジェクトストレージにデータをオフロードできない場合は、サードパーティのETL/ELTツールまたはclickhouse-localを使用して、現在のデータベースシステムからクラウドオブジェクトストレージにデータを移動し、次のステップでそのデータをClickHouse Cloudのテーブルにマイグレーションすることができます。

これは二段階のプロセス（データをクラウドオブジェクトストレージにオフロードし、その後ClickHouseにロードする）ですが、利点は、堅牢なClickHouse Cloudによるクラウドオブジェクトストレージからの高並列リードのサポートにより、ペタバイトスケールに拡張できることです。また、Parquetのような高度な圧縮形式を活用することも可能です。

データをClickHouse CloudにS3を使用して取得する方法を示す具体的なコード例を含むブログ記事があります。