- Materializar datos tanto en instancias autohospedadas como en ClickHouse Cloud
- Gestionar automáticamente tareas como la creación de tablas y la evolución del esquema
- Admitir eliminaciones lógicas o físicas
- Usar
ReplacingMergeTreepara actualizaciones estándar mediante combinación oMergeTreepara actualizaciones delta - Ofrecer entrega exactamente una vez
Guía de configuración
- Una cuenta de Estuary
- Una o más capturas en Estuary que extraigan datos de las fuentes que desee
- Una instancia de ClickHouse autohospedada o una cuenta de ClickHouse Cloud
- Un usuario de base de datos de ClickHouse con credenciales
1
Configurar ClickHouse para la integración
Para configurar el conector de ClickHouse de Estuary, deberá recopilar cierta información de su instancia de ClickHouse y configurar los permisos del usuario.
- Copie el endpoint de host de su base de datos. Para el puerto, use 9440 si TLS está habilitado o 9000 si TLS está deshabilitado. El host y el puerto conformarán la dirección que deberá proporcionar a Estuary.
-
Conceda permisos al usuario de base de datos que utilizará Estuary.
Para crear y gestionar tablas automáticamente, Estuary necesitará permisos de
CREATE,SELECT,INSERT, etc. en la base de datos de destino, así como permisos para detectar metadatos y gestionar particiones. Puede conceder todos los permisos necesarios ejecutando estos comandos SQL y sustituyendo<database>y<user>por sus propios valores: -
Opcionalmente, restrinja el acceso del usuario al sistema únicamente a la base de datos de destino.
Puede hacerlo mediante políticas a nivel de fila. Por ejemplo:
2
Crear una materialización de Estuary
- En el panel de Estuary, vaya a la página Destinations.
- Haga clic en + New Materialization.
- Seleccione el conector ClickHouse.
-
Complete la sección Materialization Details:
- Asigne un nombre único a la materialización
- Elija un plano de datos (proveedor de nube y región)
-
Complete los detalles de Endpoint Config para que Estuary pueda conectarse a su instancia de ClickHouse:
- Address: el host y el puerto de la instancia
- Database: nombre de la base de datos de destino
- Authentication: nombre de usuario y contraseña del usuario de base de datos
3
Configurar colecciones de origen
Elija las fuentes que desea materializar en ClickHouse en la sección Source Collections.
- Vincule una captura existente o agregue colecciones de datos individuales para materializarlas en ClickHouse.
- Si es necesario, seleccione una colección de datos de la lista para configurarla con más detalle. Las opciones de personalización incluyen:
- Elegir otro nombre de tabla para la colección
- Seleccionar el comportamiento de combinación de la colección (si se utiliza el modo de actualizaciones delta)
- Personalizar el comportamiento de selección de campos para controlar qué campos se materializan
- Cuando esté conforme con cómo se materializarán los datos en ClickHouse, haga clic en Next y Save and Publish.
Recursos adicionales
- Consulte la documentación de Estuary sobre la materialización de ClickHouse.
- Además del flujo de trabajo basado en la UI descrito en estas instrucciones, también puede administrar la configuración de la canalización de Estuary mediante la CLI. Consulte las guías de Estuary sobre
flowctlpara obtener más información sobre cómo trabajar con Estuary de forma programática.