Création de votre premier ClickPipe GCS

Sélectionner la source de données

1. Dans ClickHouse Cloud, sélectionnez Sources de données dans le menu de navigation principal, puis cliquez sur Create ClickPipe.

2. Cliquez sur la tuile Google Cloud Storage.

Configurer votre connexion ClickPipe

1. Pour configurer un nouveau ClickPipe, vous devez indiquer comment vous connecter à votre service de stockage d’objets et vous y authentifier.

• Chemin du fichier GCS: Le ClickPipe GCS utilise l’API XML de Cloud Storage pour des raisons d’interopérabilité, ce qui nécessite l’endpoint storage.googleapis.com :
  https://storage.googleapis.com/bucket-name/key-name
  
  Vous pouvez utiliser des caractères génériques POSIX pour faire correspondre plusieurs fichiers ou préfixes. Consultez la documentation de référence pour en savoir plus sur les patterns pris en charge.

2. Cliquez sur Données entrantes. ClickPipes récupérera les métadonnées de votre bucket pour l’étape suivante.

Sélectionner le format des données

L’interface utilisateur affichera une liste des fichiers du bucket spécifié. Sélectionnez votre format de données (nous prenons actuellement en charge un sous-ensemble des formats ClickHouse) et indiquez si vous souhaitez activer l’ingestion continue. Consultez la section « ingestion continue » de la page de vue d’ensemble pour plus de détails.

Configurer la table, le schéma et les paramètres

À l’étape suivante, vous pouvez choisir d’ingérer les données dans une nouvelle table ClickHouse ou de réutiliser une table existante. Suivez les instructions à l’écran pour modifier le nom de votre table, le schéma et les paramètres. Vous pouvez voir un aperçu en temps réel de vos modifications dans la table d’exemple en haut de la page.

Vous pouvez également personnaliser les paramètres avancés à l’aide des contrôles fournis.

Vous pouvez aussi choisir d’ingérer vos données dans une table ClickHouse existante. Dans ce cas, l’interface utilisateur vous permettra de mapper les champs de la source aux champs ClickHouse de la table de destination sélectionnée.

Vous pouvez également mapper des colonnes virtuelles, comme _path ou _size, à des champs.

Configurer les autorisations

Enfin, vous pouvez configurer les autorisations de l’utilisateur interne ClickPipes.Autorisations : ClickPipes créera un utilisateur dédié pour écrire des données dans une table de destination. Vous pouvez sélectionner un rôle pour cet utilisateur interne à l’aide d’un rôle personnalisé ou de l’un des rôles prédéfinis :

• Full access : accorde un accès complet au cluster. Requis si vous utilisez une vue matérialisée ou un Dictionary avec la table de destination.
• Only destination table : accorde uniquement les autorisations INSERT sur la table de destination.

Terminer la configuration

En cliquant sur « Complete Setup », le système enregistrera votre ClickPipe et vous pourrez le voir apparaître dans le tableau récapitulatif.

Le tableau récapitulatif fournit des contrôles pour afficher des données d’exemple provenant de la source ou de la table de destination dans ClickHouse.

Il propose également des contrôles pour supprimer le ClickPipe et afficher un récapitulatif de la tâche d’ingestion.

Félicitations ! Vous avez configuré avec succès votre premier ClickPipe. S’il s’agit d’un ClickPipe configuré pour l’ingestion continue, il s’exécutera en continu et ingérera les données en temps réel depuis votre source de données distante. Sinon, il ingérera le lot puis s’arrêtera.