CloudオブジェクトストレージからClickHouse Cloudにデータを移動する

Cloudオブジェクトストレージをデータレイクとして使用し、そのデータをClickHouse Cloudにインポートしたい場合、または現在のデータベースシステムがCloudオブジェクトストレージにデータを直接オフロードできる場合は、Cloudオブジェクトストレージに保存されているデータをClickHouse Cloudのテーブルに移行するためのテーブル関数を使用することができます。

• s3 または s3Cluster
• gcs
• azureBlobStorage

現在のデータベースシステムがCloudオブジェクトストレージにデータを直接オフロードできない場合、サードパーティのETL/ELTツールやclickhouse-localを使用して、現在のデータベースシステムからCloudオブジェクトストレージへデータを移動し、そのデータを第二のステップとしてClickHouse Cloudのテーブルに移行することができます。

これは二段階のプロセス（Cloudオブジェクトストレージにデータをオフロードし、次にClickHouseにロードする）ですが、堅牢なClickHouse Cloudの高並列なCloudオブジェクトストレージからの読み取りサポートのおかげで、ペタバイトにスケールする利点があります。また、Parquetのような高度で圧縮されたフォーマットを活用することもできます。

S3を使用してClickHouse Cloudにデータを取り込む方法を示す具体的なコード例を含むブログ記事があります。