Créer votre premier Amazon S3 ClickPipe

Sélectionnez la source de données

1. Dans ClickHouse Cloud, sélectionnez Data sources dans le menu principal, puis cliquez sur Create ClickPipe.

2. Cliquez sur la tuile Amazon S3. Vous pouvez également l’utiliser pour vous connecter à d’autres services compatibles S3 qui ne sont pas répertoriés dans la ClickPipes UI.

En raison des différences de format d’URL et d’implémentation des API selon les fournisseurs de services de stockage d’objets, tous les services compatibles S3 ne sont pas pris en charge nativement. Si vous rencontrez des problèmes avec un service qui n’est pas répertorié parmi les sources de données prises en charge, veuillez contacter notre équipe.

Configurez votre connexion ClickPipe

1. Pour configurer un nouveau ClickPipe, vous devez indiquer comment vous connecter à votre service de stockage d’objets et vous y authentifier.

• Méthode d’authentification : le S3 ClickPipe prend en charge les identifiants IAM (Credentials) et l’authentification basée sur les rôles IAM (IAM role). Consultez la documentation de référence pour obtenir des indications sur l’authentification et les permissions.
  • Chemin de fichier S3 : le S3 ClickPipe utilise une URI de type virtual-hosted-style.
    https://bucket-name.s3.region-code.amazonaws.com/key-name
    
    Vous pouvez utiliser des caractères génériques POSIX pour faire correspondre plusieurs fichiers ou préfixes. Consultez la documentation de référence pour obtenir des indications sur les motifs pris en charge.

2. Cliquez sur Incoming data. ClickPipes récupérera les métadonnées de votre bucket pour l’étape suivante.

Sélectionner le format des données

L’interface utilisateur affichera une liste des fichiers du bucket spécifié. Sélectionnez votre format de données (nous prenons actuellement en charge un sous-ensemble des formats ClickHouse) et indiquez si vous souhaitez activer l’ingestion continue. Consultez la section « ingestion continue » de la page de vue d’ensemble pour plus de détails.

Configurer la table, le schéma et les paramètres

À l’étape suivante, vous pouvez choisir d’ingérer les données dans une nouvelle table ClickHouse ou de réutiliser une table existante. Suivez les instructions à l’écran pour modifier le nom de votre table, le schéma et les paramètres. Vous pouvez voir un aperçu en temps réel de vos modifications dans la table d’exemple en haut de la page.

Vous pouvez également personnaliser les paramètres avancés à l’aide des contrôles fournis.

Vous pouvez aussi choisir d’ingérer vos données dans une table ClickHouse existante. Dans ce cas, l’interface utilisateur vous permettra de mapper les champs de la source aux champs ClickHouse de la table de destination sélectionnée.

Vous pouvez également mapper des colonnes virtuelles, comme _path ou _size, à des champs.

Configurer les autorisations

Enfin, vous pouvez configurer les autorisations de l’utilisateur interne ClickPipes.Autorisations : ClickPipes créera un utilisateur dédié pour écrire des données dans une table de destination. Vous pouvez sélectionner un rôle pour cet utilisateur interne à l’aide d’un rôle personnalisé ou de l’un des rôles prédéfinis :

• Full access : accorde un accès complet au cluster. Requis si vous utilisez une vue matérialisée ou un Dictionary avec la table de destination.
• Only destination table : accorde uniquement les autorisations INSERT sur la table de destination.

Terminer la configuration

En cliquant sur « Complete Setup », le système enregistrera votre ClickPipe et vous pourrez le voir apparaître dans le tableau récapitulatif.

Le tableau récapitulatif fournit des contrôles pour afficher des données d’exemple provenant de la source ou de la table de destination dans ClickHouse.

Il propose également des contrôles pour supprimer le ClickPipe et afficher un récapitulatif de la tâche d’ingestion.

Félicitations ! Vous avez configuré avec succès votre premier ClickPipe. S’il s’agit d’un ClickPipe configuré pour l’ingestion continue, il s’exécutera en continu et ingérera les données en temps réel depuis votre source de données distante. Sinon, il ingérera le lot puis s’arrêtera.