Guía de configuración
- Una cuenta de Estuary
- Una o varias capturas en Estuary que extraigan datos de las fuentes que desee
- Una cuenta de ClickHouse Cloud con permisos para ClickPipe
1
Crear una materialización de Estuary
Para transferir datos de las colecciones de origen de Estuary a ClickHouse, primero debe crear una materialización.
- En el panel de control de Estuary, vaya a la página Destinations.
- Haga clic en + New Materialization.
- Seleccione el conector ClickHouse Kafka API.
- Complete la información de las secciones Materialization, Endpoint y Source Collections:
- Detalles de la materialización: Asigne un nombre único a la materialización y elija un plano de datos (proveedor de nube y región).
- Configuración del endpoint: Proporcione un token de autenticación seguro.
- Colecciones de origen: Vincule una captura existente o seleccione las colecciones de datos que desea exponer a ClickHouse.
- Haga clic en Next y en Save and Publish.
- En la página de detalles de la materialización, anote el nombre completo de su materialización de ClickHouse. Tendrá un aspecto similar a
your-tenant/your-unique-name/dekaf-clickhouse.
2
Introducir los detalles de conexión de Kafka
Configure un nuevo Kafka ClickPipe en ClickHouse e introduzca los detalles de conexión:
- En el panel de control de ClickHouse Cloud, seleccione Fuentes de datos.
- Cree un nuevo ClickPipe.
- Elija Apache Kafka como fuente de datos.
- Introduzca los detalles de conexión de Kafka con la información del broker y del registro de esquemas de Estuary:
- Asigne un nombre a su ClickPipe.
- Para el broker, use:
dekaf.estuary-data.com:9092. - Deje la autenticación con la opción predeterminada
SASL/PLAIN. - Para el usuario, introduzca el nombre completo de su materialización de Estuary (por ejemplo,
your-tenant/your-unique-name/dekaf-clickhouse). - Para la contraseña, introduzca el token de autenticación proporcionado para la materialización.
- Active la opción de registro de esquemas:
- Para la URL del esquema, use:
https://dekaf.estuary-data.com. - La clave del esquema será la misma que el usuario del broker (el nombre de la materialización).
- El secreto será el mismo que la contraseña del broker (el token de autenticación).
- Para la URL del esquema, use:
3
Configurar los datos entrantes
- Seleccione uno de sus topics de Kafka (una de las colecciones de datos de Estuary).
- Elija un offset.
- ClickHouse detectará los mensajes del topic. Puede continuar a la sección Parse information para configurar la información de la tabla.
- Elija crear una tabla nueva o cargar los datos en una tabla existente que coincida.
- Asigne los campos de origen a las columnas de la tabla y confirme el nombre de la columna, el tipo y si admite valores nulos.
- En la sección final Details and settings, puede seleccionar permisos para su usuario de base de datos dedicado.
Recursos adicionales
- Consulte la documentación de materialización de ClickHouse de Estuary para la integración con ClickPipes.
- Estuary expone los datos como mensajes de Kafka mediante Dekaf. Puede obtener más información sobre Dekaf en la guía de Estuary.