Crear tu primer ClickPipe de GCS

Selecciona el origen de datos

1. En ClickHouse Cloud, selecciona Data sources en el menú principal de navegación y haz clic en Create ClickPipe.

2. Haz clic en la tarjeta de Google Cloud Storage.

Configura la conexión de tu ClickPipe

1. Para configurar un nuevo ClickPipe, debes indicar cómo conectarte a tu servicio de almacenamiento de objetos y autenticarte en él.

• Ruta del archivo de GCS: El ClickPipe de GCS usa la XML API de Cloud Storage por motivos de interoperabilidad, lo que requiere el endpoint storage.googleapis.com:
  https://storage.googleapis.com/bucket-name/key-name
  
  Puede usar comodines POSIX para hacer coincidir varios archivos o prefijos. Consulte la documentación de referencia para obtener orientación sobre los patrones admitidos.

2. Haz clic en Incoming data. ClickPipes obtendrá los metadatos de tu bucket para el siguiente paso.

Selecciona el formato de los datos

La UI mostrará una lista de archivos del bucket especificado. Selecciona el formato de tus datos (actualmente admitimos un subconjunto de formatos de ClickHouse) e indica si quieres habilitar la ingestión continua. Consulta la sección “ingesta continua” en la página de resumen para obtener más información.

Configura la tabla, el esquema y la configuración

En el siguiente paso, puedes seleccionar si quieres ingestar datos en una nueva tabla de ClickHouse o reutilizar una existente. Sigue las instrucciones que aparecen en pantalla para modificar el nombre de la tabla, el esquema y la configuración. Puedes ver una vista previa en tiempo real de los cambios en la tabla de ejemplo de la parte superior.

También puedes personalizar la configuración avanzada con los controles proporcionados.

Como alternativa, puedes decidir ingestar tus datos en una tabla de ClickHouse existente. En ese caso, la UI te permitirá mapear campos del origen a los campos de ClickHouse de la tabla de destino seleccionada.

También puedes mapear columnas virtuales, como _path o _size, a campos.

Configura los permisos

Por último, puedes configurar los permisos para el usuario interno de ClickPipes.Permisos: ClickPipes creará un usuario dedicado para escribir datos en una tabla de destino. Puedes seleccionar un rol para este usuario interno usando un rol personalizado o uno de los roles predefinidos:

• Full access: con acceso completo al clúster. Es necesario si usas una vista materializada o un Diccionario con la tabla de destino.
• Only destination table: solo con permisos de INSERT para la tabla de destino.

Completa la configuración

Al hacer clic en “Complete Setup”, el sistema registrará tu ClickPipe y podrás verlo en la tabla de resumen.

La tabla de resumen proporciona controles para mostrar datos de ejemplo del origen o de la tabla de destino en ClickHouse.

También incluye controles para eliminar el ClickPipe y mostrar un resumen del trabajo de ingestión.

¡Enhorabuena! Has configurado correctamente tu primer ClickPipe. Si se trata de un ClickPipe configurado para la ingestión continua, se ejecutará de forma continua e ingestará datos en tiempo real desde tu fuente de datos remota. De lo contrario, ingestará el lote y finalizará.