Skip to main content
Estuary puede conectarse a ClickHouse mediante Kafka ClickPipe. Con esta integración, no necesita mantener su propio ecosistema de Kafka. En su lugar, Estuary emite datos nuevos como mensajes de Kafka. Puede configurar un Kafka ClickPipe para usar la información del broker y del registro de esquemas de Estuary para consumir estos mensajes. Consulte la integración directa de Estuary con ClickHouse como alternativa.

Guía de configuración

Requisitos previos Necesitará:
  • Una cuenta de Estuary
  • Una o varias capturas en Estuary que extraigan datos de las fuentes que desee
  • Una cuenta de ClickHouse Cloud con permisos para ClickPipe
1

Crear una materialización de Estuary

Para transferir datos de las colecciones de origen de Estuary a ClickHouse, primero debe crear una materialización.
  1. En el panel de control de Estuary, vaya a la página Destinations.
  2. Haga clic en + New Materialization.
  3. Seleccione el conector ClickHouse Kafka API.
  4. Complete la información de las secciones Materialization, Endpoint y Source Collections:
    • Detalles de la materialización: Asigne un nombre único a la materialización y elija un plano de datos (proveedor de nube y región).
    • Configuración del endpoint: Proporcione un token de autenticación seguro.
    • Colecciones de origen: Vincule una captura existente o seleccione las colecciones de datos que desea exponer a ClickHouse.
  5. Haga clic en Next y en Save and Publish.
  6. En la página de detalles de la materialización, anote el nombre completo de su materialización de ClickHouse. Tendrá un aspecto similar a your-tenant/your-unique-name/dekaf-clickhouse.
Estuary comenzará a transmitir las colecciones seleccionadas como mensajes de Kafka. ClickHouse puede acceder a estos datos mediante un Kafka ClickPipe con la información del broker de Estuary y el token de autenticación proporcionado.
2

Introducir los detalles de conexión de Kafka

Configure un nuevo Kafka ClickPipe en ClickHouse e introduzca los detalles de conexión:
  1. En el panel de control de ClickHouse Cloud, seleccione Fuentes de datos.
  2. Cree un nuevo ClickPipe.
  3. Elija Apache Kafka como fuente de datos.
  4. Introduzca los detalles de conexión de Kafka con la información del broker y del registro de esquemas de Estuary:
    • Asigne un nombre a su ClickPipe.
    • Para el broker, use: dekaf.estuary-data.com:9092.
    • Deje la autenticación con la opción predeterminada SASL/PLAIN.
    • Para el usuario, introduzca el nombre completo de su materialización de Estuary (por ejemplo, your-tenant/your-unique-name/dekaf-clickhouse).
    • Para la contraseña, introduzca el token de autenticación proporcionado para la materialización.
  5. Active la opción de registro de esquemas:
    • Para la URL del esquema, use: https://dekaf.estuary-data.com.
    • La clave del esquema será la misma que el usuario del broker (el nombre de la materialización).
    • El secreto será el mismo que la contraseña del broker (el token de autenticación).
3

Configurar los datos entrantes

  1. Seleccione uno de sus topics de Kafka (una de las colecciones de datos de Estuary).
  2. Elija un offset.
  3. ClickHouse detectará los mensajes del topic. Puede continuar a la sección Parse information para configurar la información de la tabla.
  4. Elija crear una tabla nueva o cargar los datos en una tabla existente que coincida.
  5. Asigne los campos de origen a las columnas de la tabla y confirme el nombre de la columna, el tipo y si admite valores nulos.
  6. En la sección final Details and settings, puede seleccionar permisos para su usuario de base de datos dedicado.
Cuando esté conforme con la configuración, cree el ClickPipe.ClickHouse aprovisionará la nueva fuente de datos y comenzará a consumir mensajes de Estuary. Cree tantos ClickPipes como necesite para transmitir datos de todas las colecciones que desee.

Recursos adicionales

Para obtener más información sobre cómo configurar una integración de ClickPipe con Estuary, consulte la documentación de Estuary:
Última modificación el 14 de agosto de 2026