Sauvegarde / restauration via l’interface utilisateur

Les sauvegardes automatisées vers votre bucket externe sont configurées pour effectuer des sauvegardes « complètes » toutes les 24 heures, et cette fréquence n’est pas configurable.

AWS

Effectuer des sauvegardes sur AWS

1. Étapes à suivre dans AWS

Ces étapes sont similaires à la configuration sécurisée de S3 décrite dans “Accéder aux données S3 en toute sécurité”, mais des actions supplémentaires sont nécessaires au niveau des permissions du rôle.

Suivez les étapes ci-dessous dans votre compte AWS :

Créer un bucket AWS S3

Créez dans votre compte un bucket AWS S3 vers lequel vous souhaitez exporter les backups.

Créer un rôle IAM

AWS utilise une authentification basée sur les rôles. Créez donc un rôle IAM que le ClickHouse Cloud service pourra assumer afin d’écrire dans ce bucket.

a. Récupérez l’ARN depuis la page des paramètres du ClickHouse Cloud service, dans la section Network security information, qui ressemble à ceci :

b. Pour ce rôle, créez la stratégie d’approbation comme suit :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "backup service",
      "Effect": "Allow",
      "Principal": {
        "AWS":  "arn:aws:iam::463754717262:role/CH-S3-bordeaux-ar-90-ue2-29-Role"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Mettre à jour les permissions du rôle

Vous devrez également définir les permissions de ce rôle afin que ce ClickHouse Cloud service puisse écrire dans le bucket S3. Pour ce faire, créez une policy de permissions pour le rôle avec un JSON similaire à celui-ci, en remplaçant l’ARN de votre bucket par la resource aux deux endroits.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3:GetBucketLocation",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::byob-ui"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "s3:Get*",
        "s3:List*",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::byob-ui/*"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "s3:DeleteObject"
      ],
      "Resource": [
        "arn:aws:s3:::byob-ui/*/.lock"
      ],
      "Effect": "Allow"
    }
  ]
}

2. Étapes à suivre dans ClickHouse Cloud

Suivez les étapes ci-dessous dans la console ClickHouse Cloud pour configurer le bucket externe :

Modifier la sauvegarde externe

Sur la page Settings, cliquez sur Set up external backup :

Configurer l’ARN du rôle AWS IAM et les détails du bucket S3

Sur l’écran suivant, indiquez l’ARN du rôle AWS IAM que vous venez de créer ainsi que l’URL du bucket S3 au format suivant :

Enregistrer les modifications

Cliquez sur « Save External Bucket » pour enregistrer les paramètres

Modifier la planification des sauvegardes par défaut

Les sauvegardes externes seront désormais effectuées dans votre bucket selon la planification par défaut. Vous pouvez également configurer la planification des sauvegardes depuis la page « Settings ». Si une configuration différente est définie, la planification personnalisée est utilisée pour écrire les sauvegardes dans votre bucket, tandis que la planification par défaut (une sauvegarde toutes les 24 heures) est utilisée pour les sauvegardes dans le bucket géré par ClickHouse Cloud.

Afficher les sauvegardes stockées dans votre bucket

La page Backups affichera ces sauvegardes stockées dans votre bucket dans un tableau distinct comme illustré ci-dessous :

Restaurer des sauvegardes depuis AWS

Suivez les étapes ci-dessous pour restaurer des sauvegardes depuis AWS :

Créer un nouveau service de destination pour la restauration

Créez un nouveau service dans lequel restaurer la sauvegarde.

Ajouter l’ARN du service

Ajoutez l’ARN du service nouvellement créé (depuis la page des paramètres du service dans la console ClickHouse Cloud) à la stratégie d’approbation du rôle IAM. Il s’agit de la même opération que la deuxième étape de la section Étapes AWS ci-dessus. Cela est nécessaire pour que le nouveau service puisse accéder au bucket S3.

Obtenir la commande SQL utilisée pour restaurer la sauvegarde

Cliquez sur le lien « access or restore a backup » au-dessus de la liste des sauvegardes dans l’UI pour obtenir la commande SQL permettant de restaurer la sauvegarde. La commande ressemblera à ceci :

Déplacement des sauvegardes vers un autre emplacementSi vous déplacez les sauvegardes vers un autre emplacement, vous devrez adapter la commande de restauration pour qu’elle pointe vers ce nouvel emplacement.

Commande ASYNCPour la commande Restore, vous pouvez également ajouter, de manière facultative, une commande ASYNC à la fin pour les restaurations volumineuses. Cela permet aux restaurations de s’exécuter de façon asynchrone. Ainsi, si la connexion est perdue, la restauration continue de s’exécuter. Il est important de noter que la commande ASYNC renvoie immédiatement un statut de réussite. Cela ne signifie pas que la restauration a réussi. Vous devrez surveiller la table system.backups pour voir si la restauration est terminée et si elle a réussi ou échoué.

Exécuter la commande de restauration

Exécutez la commande de restauration depuis la console SQL du service nouvellement créé pour restaurer la sauvegarde.

GCP

Effectuer des sauvegardes sur GCP

Suivez les étapes ci-dessous pour effectuer des sauvegardes sur GCP :

Étapes à suivre dans GCP

Créer un bucket de stockage GCP

Créez un bucket de stockage dans votre compte GCP pour y exporter les sauvegardes.

Générer une clé et un secret HMAC

Générez une clé et un secret HMAC, requis pour l’authentification par mot de passe. Suivez les étapes ci-dessous pour générer les clés :

a. Créer un compte de service
- I. Accédez à la section IAM & Admin dans la Google Cloud Console et sélectionnez Service Accounts.
- II. Cliquez sur Create Service Account, puis indiquez un nom et un ID. Cliquez sur Create and Continue.
- III. Attribuez le rôle Storage Object User à ce compte de service.
- IV. Cliquez sur Done pour finaliser la création du compte de service.
b. Générer la clé HMAC
- I. Accédez à Cloud Storage dans la Google Cloud Console, puis sélectionnez Settings
- II Accédez à l’onglet Interoperability.
- III. Dans la section Service account HMAC, cliquez sur Create a key for a service account.
- IV. Choisissez dans le menu déroulant le compte de service que vous avez créé à l’étape précédente.
- V. Cliquez sur Create key.
c. Stocker les identifiants de manière sécurisée :
- I. Le système affichera l’Access ID (votre clé HMAC) et le Secret (votre secret HMAC). Enregistrez ces valeurs, car le secret ne sera plus affiché après la fermeture de cette fenêtre.

Étapes à suivre dans ClickHouse Cloud

Suivez les étapes ci-dessous dans la console ClickHouse Cloud pour configurer le bucket externe :

Modifier la sauvegarde externe

Sur la page Settings, cliquez sur Change external backup

Configurer la HMAC Key et le Secret GCP

Dans la boîte de dialogue, indiquez le path du bucket GCP, la HMAC Key et le Secret créés dans la section précédente.

Enregistrer le bucket externe

Cliquez sur Save External Bucket pour enregistrer les paramètres.

Modifier la planification des sauvegardes par défaut

Les sauvegardes externes seront désormais effectuées dans votre bucket selon la planification par défaut. Vous pouvez également configurer la planification des sauvegardes depuis la page Settings. Si une autre configuration est définie, la planification personnalisée est utilisée pour écrire les sauvegardes dans votre bucket, tandis que la planification par défaut (sauvegardes toutes les 24 heures) est utilisée pour les sauvegardes dans le bucket géré par ClickHouse Cloud.

Afficher les sauvegardes stockées dans votre bucket

La page Backups doit afficher les sauvegardes présentes dans votre bucket dans un tableau distinct, comme illustré ci-dessous :

Restaurer des sauvegardes depuis GCP

Suivez les étapes ci-dessous pour restaurer des sauvegardes depuis GCP :

Créer un nouveau service de destination pour la restauration

Créez un nouveau service dans lequel restaurer la sauvegarde.

Obtenir la commande SQL utilisée pour restaurer la sauvegarde

Cliquez sur le lien access or restore a backup au-dessus de la liste des sauvegardes dans l’UI pour obtenir la commande SQL permettant de restaurer la sauvegarde. La commande doit ressembler à ceci, et vous pouvez sélectionner la sauvegarde appropriée dans la liste déroulante pour obtenir la commande de restauration correspondant à cette sauvegarde. Vous devrez ajouter votre clé d’accès secrète à la commande :

Déplacer des sauvegardes vers un autre emplacementSi vous déplacez les sauvegardes vers un autre emplacement, vous devrez adapter la commande de restauration pour qu’elle pointe vers le nouvel emplacement.

Commande ASYNCPour la commande RESTORE, vous pouvez également ajouter ASYNC à la fin pour les restaurations volumineuses. Cela permet aux restaurations de s’exécuter de manière asynchrone : si la connexion est perdue, la restauration continue. Il est important de noter que la commande ASYNC renvoie immédiatement un statut de réussite. Cela ne signifie pas que la restauration a réussi. Vous devrez surveiller la table system.backups pour vérifier si la restauration est terminée et si elle a réussi ou échoué.

Exécuter la commande SQL pour restaurer la sauvegarde

Exécutez la commande de restauration depuis la console SQL du service nouvellement créé pour restaurer la sauvegarde.

Azure

Effectuer des sauvegardes sur Azure

Suivez les étapes ci-dessous pour effectuer des sauvegardes sur Azure :

Étapes à suivre dans Azure

Créer un compte de stockage

Créez un compte de stockage ou sélectionnez un compte de stockage existant dans le portail Azure où vous souhaitez stocker vos sauvegardes.

Obtenir la chaîne de connexion

a. Dans la vue d’ensemble de votre compte de stockage, repérez la section Security + networking, puis cliquez sur Access keys.
b. Vous y verrez key1 et key2. Sous chaque clé se trouve un champ Connection string.
c. Cliquez sur Show pour afficher la chaîne de connexion. Copiez-la : vous l’utiliserez pour la configuration dans ClickHouse Cloud.

Étapes à suivre dans ClickHouse Cloud

Suivez les étapes ci-dessous dans la console ClickHouse Cloud pour configurer le bucket externe :

Modifier la sauvegarde externe

Sur la page Settings, cliquez sur Change external backup.

Fournir la chaîne de connexion et le nom du conteneur pour votre compte de stockage Azure

À l’écran suivant, indiquez la chaîne de connexion et le nom du conteneur de votre compte de stockage Azure créé dans la section précédente :

Enregistrer le bucket externe

Cliquez sur Save External Bucket pour enregistrer les paramètres.

Modifier la planification des sauvegardes par défaut

Les sauvegardes externes seront désormais effectuées dans votre bucket selon la planification par défaut. Vous pouvez également configurer la planification des sauvegardes depuis la page Settings. Si une planification différente est définie, la planification personnalisée est utilisée pour écrire les sauvegardes dans votre bucket, tandis que la planification par défaut (sauvegardes toutes les 24 heures) est utilisée pour les sauvegardes dans le bucket géré par ClickHouse Cloud.

Afficher les sauvegardes stockées dans votre bucket

La page Backups devrait afficher ces sauvegardes dans votre bucket dans un tableau séparé, comme indiqué ci-dessous :

Restaurer des sauvegardes à partir d’Azure

Pour restaurer des sauvegardes à partir d’Azure, suivez les étapes ci-dessous :

Créer un nouveau service de destination pour la restauration

Créez un nouveau service dans lequel restaurer la sauvegarde. À l’heure actuelle, nous prenons uniquement en charge la restauration d’une sauvegarde vers un nouveau service.

Obtenir la commande SQL utilisée pour restaurer la sauvegarde

Commande ASYNCPour la commande Restore, vous pouvez aussi ajouter facultativement ASYNC à la fin pour les restaurations volumineuses. Cela permet aux restaurations de s’exécuter de manière asynchrone afin que, si la connexion est perdue, la restauration continue. Il est important de noter que la commande ASYNC renvoie immédiatement un statut de réussite. Cela ne signifie pas que la restauration a réussi. Vous devrez surveiller la table system.backups pour vérifier si la restauration est terminée et si elle a réussi ou échoué.

Exécuter la commande SQL pour restaurer la sauvegarde

Exécutez la commande de restauration depuis la console SQL du service nouvellement créé afin de restaurer la sauvegarde.

​AWS

​Effectuer des sauvegardes sur AWS

​1. Étapes à suivre dans AWS

​2. Étapes à suivre dans ClickHouse Cloud

​Restaurer des sauvegardes depuis AWS

​GCP

​Effectuer des sauvegardes sur GCP

​Étapes à suivre dans GCP

​Étapes à suivre dans ClickHouse Cloud

​Restaurer des sauvegardes depuis GCP

​Azure

​Effectuer des sauvegardes sur Azure

​Étapes à suivre dans Azure

​Étapes à suivre dans ClickHouse Cloud

​Restaurer des sauvegardes à partir d’Azure

AWS

Effectuer des sauvegardes sur AWS

1. Étapes à suivre dans AWS

2. Étapes à suivre dans ClickHouse Cloud

Restaurer des sauvegardes depuis AWS

GCP

Effectuer des sauvegardes sur GCP

Étapes à suivre dans GCP

Étapes à suivre dans ClickHouse Cloud

Restaurer des sauvegardes depuis GCP

Azure

Effectuer des sauvegardes sur Azure

Étapes à suivre dans Azure

Étapes à suivre dans ClickHouse Cloud

Restaurer des sauvegardes à partir d’Azure