Crea tu primer ClickPipe de Amazon S3

Selecciona la fuente de datos

1. En ClickHouse Cloud, selecciona Fuentes de datos en el menú principal de navegación y haz clic en Create ClickPipe.

2. Haga clic en el mosaico de Amazon S3. También puede usar este mosaico para conectarse a otros servicios compatibles con S3 que no figuran en la UI de ClickPipes.

Debido a las diferencias en los formatos de URL y en las implementaciones de API entre los proveedores de servicios de almacenamiento de objetos, no todos los servicios compatibles con S3 son compatibles de forma nativa. Si tiene problemas con un servicio que no aparece en fuentes de datos compatibles, póngase en contacto con nuestro equipo.

Configura la conexión de tu ClickPipe

1. Para configurar un nuevo ClickPipe, debes proporcionar los datos necesarios para conectarte a tu servicio de almacenamiento de objetos y autenticarte en él.

• Método de autenticación: ClickPipe de S3 admite credenciales de IAM (Credentials) y autenticación basada en roles de IAM (IAM role). Consulte la documentación de referencia para obtener información sobre la autenticación y los permisos.
  • Ruta de archivo de S3: ClickPipe de S3 requiere una URI con estilo de host virtual.
    https://bucket-name.s3.region-code.amazonaws.com/key-name
    
    Puede usar comodines POSIX para coincidir con varios archivos o prefijos. Consulte la documentación de referencia para obtener información sobre los patrones compatibles.

2. Haz clic en Datos entrantes. ClickPipes obtendrá los metadatos de tu bucket para el siguiente paso.

Selecciona el formato de los datos

La UI mostrará una lista de archivos del bucket especificado. Selecciona el formato de tus datos (actualmente admitimos un subconjunto de formatos de ClickHouse) e indica si quieres habilitar la ingestión continua. Consulta la sección “ingesta continua” en la página de resumen para obtener más información.

Configura la tabla, el esquema y la configuración

En el siguiente paso, puedes seleccionar si quieres ingestar datos en una nueva tabla de ClickHouse o reutilizar una existente. Sigue las instrucciones que aparecen en pantalla para modificar el nombre de la tabla, el esquema y la configuración. Puedes ver una vista previa en tiempo real de los cambios en la tabla de ejemplo de la parte superior.

También puedes personalizar la configuración avanzada con los controles proporcionados.

Como alternativa, puedes decidir ingestar tus datos en una tabla de ClickHouse existente. En ese caso, la UI te permitirá mapear campos del origen a los campos de ClickHouse de la tabla de destino seleccionada.

También puedes mapear columnas virtuales, como _path o _size, a campos.

Configura los permisos

Por último, puedes configurar los permisos para el usuario interno de ClickPipes.Permisos: ClickPipes creará un usuario dedicado para escribir datos en una tabla de destino. Puedes seleccionar un rol para este usuario interno usando un rol personalizado o uno de los roles predefinidos:

• Full access: con acceso completo al clúster. Es necesario si usas una vista materializada o un Diccionario con la tabla de destino.
• Only destination table: solo con permisos de INSERT para la tabla de destino.

Completa la configuración

Al hacer clic en “Complete Setup”, el sistema registrará tu ClickPipe y podrás verlo en la tabla de resumen.

La tabla de resumen proporciona controles para mostrar datos de ejemplo del origen o de la tabla de destino en ClickHouse.

También incluye controles para eliminar el ClickPipe y mostrar un resumen del trabajo de ingestión.

¡Enhorabuena! Has configurado correctamente tu primer ClickPipe. Si se trata de un ClickPipe configurado para la ingestión continua, se ejecutará de forma continua e ingestará datos en tiempo real desde tu fuente de datos remota. De lo contrario, ingestará el lote y finalizará.