Utiliser la fonction de table azureBlobStorage de ClickHouse

Il s’agit de l’un des moyens les plus efficaces et les plus simples de copier des données depuis Azure Blob Storage ou Azure Data Lake Storage vers ClickHouse. Avec cette fonction de table, vous pouvez indiquer à ClickHouse de se connecter directement au stockage Azure et de lire les données à la demande. Elle fournit une interface de type table qui vous permet de sélectionner, d’insérer et de filtrer les données directement à partir de la source. Cette fonction est hautement optimisée et prend en charge de nombreux formats de fichiers couramment utilisés, notamment CSV, JSON, Parquet, Arrow, TSV, ORC, Avro, et bien d’autres. Pour la liste complète, voir “Formats de données”. Dans cette section, nous vous proposons un guide de démarrage simple pour transférer des données d’Azure Blob Storage vers ClickHouse, ainsi que les points importants à prendre en compte pour utiliser cette fonction efficacement. Pour plus de détails et d’options avancées, consultez la documentation officielle : documentation de la fonction de table azureBlobStorage

Récupération des clés d’accès à Azure Blob Storage

Pour permettre à ClickHouse d’accéder à votre Azure Blob Storage, vous aurez besoin d’une chaîne de connexion avec une clé d’accès.

Dans le portail Azure, accédez à votre Storage Account.
Dans le menu de gauche, sélectionnez Access keys dans la section Security + networking.
Choisissez key1 ou key2, puis cliquez sur le bouton Show à côté du champ Connection string.
Copiez la chaîne de connexion — vous l’utiliserez comme paramètre dans la fonction de table azureBlobStorage.

Interroger les données d’Azure Blob Storage

Ouvrez la console de requête ClickHouse de votre choix — il peut s’agir de l’interface web de ClickHouse Cloud, du client ClickHouse CLI ou de tout autre outil que vous utilisez pour exécuter des requêtes. Une fois votre chaîne de connexion et votre console de requête ClickHouse prêtes, vous pouvez commencer à interroger directement les données d’Azure Blob Storage. Dans l’exemple suivant, nous interrogeons toutes les données stockées dans des fichiers JSON situés dans un conteneur nommé data-container :

SELECT * FROM azureBlobStorage(
    '<YOUR CONNECTION STRING>',
    'data-container',
    '*.json',
    'JSONEachRow');

Si vous souhaitez copier ces données dans une table ClickHouse locale (par exemple, my_table), vous pouvez utiliser l’instruction INSERT INTO ... SELECT :

INSERT INTO my_table
SELECT * FROM azureBlobStorage(
    '<YOUR CONNECTION STRING>',
    'data-container',
    '*.json',
    'JSONEachRow');

Cela vous permet d’importer efficacement des données externes dans ClickHouse sans nécessiter d’étapes ETL intermédiaires.

Un exemple simple utilisant le jeu de données Environmental Sensors

À titre d’exemple, nous allons télécharger un seul fichier du jeu de données Environmental Sensors.

Téléchargez un fichier d’exemple depuis le jeu de données Environmental Sensors
Dans le portail Azure, créez un nouveau compte de stockage si vous n’en avez pas déjà un.

Assurez-vous que Allow storage account key access est activé pour votre compte de stockage, sinon vous ne pourrez pas utiliser les clés du compte pour accéder aux données.

Créez un nouveau conteneur dans votre compte de stockage. Dans cet exemple, nous le nommons sensors. Vous pouvez ignorer cette étape si vous utilisez un conteneur existant.
Téléversez le fichier 2019-06_bmp180.csv.zst précédemment téléchargé dans le conteneur.
Suivez les étapes décrites précédemment pour obtenir la chaîne de connexion à Azure Blob Storage.

Maintenant que tout est configuré, vous pouvez interroger directement les données dans Azure Blob Storage :

    SELECT *
    FROM azureBlobStorage(
        '<YOUR CONNECTION STRING>', 
        'sensors',
        '2019-06_bmp180.csv.zst', 
        'CSVWithNames')
    LIMIT 10
    SETTINGS format_csv_delimiter = ';'

Pour charger les données dans une table, créez une version simplifiée du schéma utilisé dans le jeu de données d’origine :

CREATE TABLE sensors
(
    sensor_id UInt16,
    lat Float32,
    lon Float32,
    timestamp DateTime,
    temperature Float32
)
ENGINE = MergeTree
ORDER BY (timestamp, sensor_id);

Pour plus d’informations sur les options de configuration et l’inférence de schéma lors de l’interrogation de sources externes comme Azure Blob Storage, consultez Inférence automatique du schéma à partir des données d’entrée

Insérez maintenant les données depuis Azure Blob Storage dans la table sensors :

INSERT INTO sensors
SELECT sensor_id, lat, lon, timestamp, temperature
FROM azureBlobStorage(
    '<YOUR CONNECTION STRING>', 
    'sensors',
    '2019-06_bmp180.csv.zst', 
    'CSVWithNames')
SETTINGS format_csv_delimiter = ';'

Votre table sensors contient désormais les données du fichier 2019-06_bmp180.csv.zst stocké dans Azure Blob Storage.

Ressources supplémentaires

Il s’agit simplement d’une introduction à l’utilisation de la fonction azureBlobStorage. Pour des options plus avancées et des détails de configuration, veuillez consulter la documentation officielle :

​Récupération des clés d’accès à Azure Blob Storage

​Interroger les données d’Azure Blob Storage

​Un exemple simple utilisant le jeu de données Environmental Sensors

​Ressources supplémentaires

Récupération des clés d’accès à Azure Blob Storage

Interroger les données d’Azure Blob Storage

Un exemple simple utilisant le jeu de données Environmental Sensors

Ressources supplémentaires