`. La valeur par défaut est [GoogleSQL](https://cloud.google.com/bigquery/docs/introduction-sql), sauf si `useLegacySql` vaut true. | | Vous devez spécifier soit `inputTableSpec`, soit `query`. Si vous définissez les deux paramètres, le template utilise le paramètre `query`. Exemple : `SELECT * FROM sampledb.sample_table`. |
| `useLegacySql` | Définissez `true` pour utiliser l’ancien SQL. Ce paramètre s’applique uniquement lors de l’utilisation du paramètre `query`. La valeur par défaut est `false`. | | |
| `queryLocation` | Nécessaire lors de la lecture depuis une vue autorisée sans la permission sur la table sous-jacente. Par exemple, `US`. | | |
| `queryTempDataset` | Définissez un dataset existant pour créer la table temporaire qui stockera les résultats de la requête. Par exemple, `temp_dataset`. | | |
| `KMSEncryptionKey` | Si vous lisez depuis BigQuery en utilisant la source `query`, utilisez cette clé Cloud KMS pour chiffrer toutes les tables temporaires créées. Par exemple, `projects/your-project/locations/global/keyRings/your-keyring/cryptoKeys/your-key`. | | |
Les valeurs par défaut de tous les paramètres `ClickHouseIO` sont disponibles dans le [`Connecteur Apache Beam ClickHouseIO`](/docs/fr/integrations/connectors/data-ingestion/etl-tools/apache-beam#clickhouseiowrite-parameters)
## Schéma des tables source et cible
Pour charger efficacement le jeu de données BigQuery dans ClickHouse, le pipeline exécute un processus d’inférence des colonnes selon les phases suivantes :
1. Les templates construisent un objet de schéma à partir de la table ClickHouse cible.
2. Les templates parcourent le jeu de données BigQuery et tentent de faire correspondre les colonnes en fonction de leur nom.
Cela dit, votre jeu de données BigQuery (qu’il s’agisse d’une table ou d’une query) doit avoir exactement les mêmes noms de colonnes que votre table ClickHouse
cible.
## Correspondance des types de données
Les types BigQuery sont convertis en fonction de la définition de votre table ClickHouse. Par conséquent, le tableau ci-dessus indique la
correspondance recommandée à utiliser dans votre table ClickHouse cible (pour une table/requête BigQuery donnée) :
| Type BigQuery | Type ClickHouse | Remarques |
| ----------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| [**Type Array**](https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#array_type) | [**Type Array**](/docs/fr/reference/data-types/array) | Le type interne doit être l'un des types de données primitifs pris en charge répertoriés dans ce tableau. |
| [**Type booléen**](https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#boolean_type) | [**Type Bool**](/docs/fr/reference/data-types/boolean) | |
| [**Type Date**](https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#date_type) | [**Type Date**](/docs/fr/reference/data-types/date) | |
| [**Type Datetime**](https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#datetime_type) | [**Type Datetime**](/docs/fr/reference/data-types/datetime) | Fonctionne aussi avec `Enum8`, `Enum16` et `FixedString`. |
| [**Type String**](https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#string_type) | [**Type String**](/docs/fr/reference/data-types/string) | Dans BigQuery, tous les types Int (`INT`, `SMALLINT`, `INTEGER`, `BIGINT`, `TINYINT`, `BYTEINT`) sont des alias de `INT64`. Nous vous recommandons de définir dans ClickHouse la taille d'entier appropriée, car le modèle convertira la colonne en fonction du type de colonne défini (`Int8`, `Int16`, `Int32`, `Int64`). |
| [**Numérique - Types entiers**](https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#numeric_types) | [**Types entiers**](/docs/fr/reference/data-types/int-uint) | Dans BigQuery, tous les types Int (`INT`, `SMALLINT`, `INTEGER`, `BIGINT`, `TINYINT`, `BYTEINT`) sont des alias de `INT64`. Nous vous recommandons de définir dans ClickHouse la taille d'entier appropriée, car le modèle convertira la colonne en fonction du type de colonne défini (`Int8`, `Int16`, `Int32`, `Int64`). Le modèle convertira également les types entiers non signés s'ils sont utilisés dans la table ClickHouse (`UInt8`, `UInt16`, `UInt32`, `UInt64`). |
| [**Numérique - Types Float**](https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#numeric_types) | [**Types Float**](/docs/fr/reference/data-types/float) | Types ClickHouse pris en charge : `Float32` et `Float64` |
## Exécuter le Template
Le template BigQuery vers ClickHouse peut être exécuté via la Google Cloud CLI.
Veillez à consulter ce document, en particulier les sections ci-dessus, afin de bien comprendre les exigences de configuration et les prérequis du template.
Connectez-vous à votre Google Cloud Console et recherchez DataFlow.
1. Cliquez sur le bouton `CREATE JOB FROM TEMPLATE`
2. Une fois le formulaire du template ouvert, saisissez un nom de job et sélectionnez la région souhaitée.
3. Dans le champ `DataFlow Template`, saisissez `ClickHouse` ou `BigQuery`, puis sélectionnez le template `BigQuery to ClickHouse`
4. Une fois sélectionné, le formulaire s’étend pour vous permettre de renseigner des informations supplémentaires :
* L’URL JDBC du serveur ClickHouse, au format suivant `jdbc:clickhouse://host:port/schema`.
* Le nom d’utilisateur ClickHouse.
* Le nom de la table cible ClickHouse.
L’option de mot de passe ClickHouse est indiquée comme facultative, pour les cas d’usage où aucun mot de passe n’est configuré.
Pour l’ajouter, faites défiler la page jusqu’à l’option `Password for ClickHouse Endpoint`.
5. Personnalisez et ajoutez toute configuration liée à BigQuery/ClickHouseIO, comme indiqué dans
la section [Template Parameters](#template-parameters)
### Installer et configurer la CLI `gcloud`
* Si ce n’est pas déjà fait, installez la [CLI `gcloud`](https://cloud.google.com/sdk/docs/install).
* Suivez la section `Before you begin`
dans [ce guide](https://cloud.google.com/dataflow/docs/guides/templates/using-flex-templates#before-you-begin) pour mettre
en place les configurations, paramètres et permissions requis pour exécuter le template DataFlow.
### Exécuter la commande
Utilisez la commande [`gcloud dataflow flex-template run`](https://cloud.google.com/sdk/gcloud/reference/dataflow/flex-template/run)
pour exécuter un job Dataflow utilisant le Flex Template.
Vous trouverez ci-dessous un exemple de commande :
```bash theme={null}
gcloud dataflow flex-template run "bigquery-clickhouse-dataflow-$(date +%Y%m%d-%H%M%S)" \
--template-file-gcs-location "gs://clickhouse-dataflow-templates/bigquery-clickhouse-metadata.json" \
--parameters inputTableSpec="",jdbcUrl="jdbc:clickhouse://:/?ssl=true&sslmode=NONE",clickHouseUsername="",clickHousePassword="",clickHouseTable=""
```
### Détail de la commande
* **Nom du job :** Le texte qui suit le mot-clé `run` correspond au nom unique du job.
* **Fichier du Template :** Le fichier JSON spécifié par `--template-file-gcs-location` définit la structure du template et
les détails des paramètres acceptés. Le chemin de fichier mentionné est public et prêt à l’emploi.
* **Paramètres :** Les paramètres sont séparés par des virgules. Pour les paramètres de type chaîne, mettez les valeurs entre guillemets doubles.
### Réponse attendue
Après avoir exécuté la commande, vous devriez voir une réponse similaire à la suivante :
```bash theme={null}
job:
createTime: '2025-01-26T14:34:04.608442Z'
currentStateTime: '1970-01-01T00:00:00Z'
id: 2025-01-26_06_34_03-13881126003586053150
location: us-central1
name: bigquery-clickhouse-dataflow-20250126-153400
projectId: ch-integrations
startTime: '2025-01-26T14:34:04.608442Z'
```
### Surveiller le job
Accédez à l’[onglet Dataflow Jobs](https://console.cloud.google.com/dataflow/jobs) dans votre Google Cloud Console pour
suivre l’état du job. Vous y trouverez les détails du job, notamment sa progression et les éventuelles erreurs :
## Dépannage
### Erreur : limite de mémoire (totale) dépassée (code 241)
Cette erreur se produit lorsque ClickHouse manque de mémoire lors du traitement de lots de données volumineux. Pour résoudre ce problème :
* Augmentez les ressources de l’instance : passez à une instance plus grande pour votre serveur ClickHouse, avec davantage de mémoire afin d’absorber la charge liée au traitement des données.
* Réduisez la taille des lots : ajustez la taille des lots dans la configuration de votre job Dataflow pour envoyer à ClickHouse de plus petits volumes de données, ce qui réduit la consommation de mémoire par lot. Ces modifications peuvent aider à mieux répartir l’utilisation des ressources lors de l’ingestion des données.
## Code source du template
Le code source du template est disponible dans :
* [`GoogleCloudPlatform/DataflowTemplates`](https://github.com/GoogleCloudPlatform/DataflowTemplates/tree/main/v2/googlecloud-to-clickhouse) — le dépôt upstream de Google Cloud Platform.
* [`ClickHouse/DataflowTemplates`](https://github.com/ClickHouse/DataflowTemplates) — le fork de ClickHouse.