> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

> Configure uma integração entre o Estuary e o ClickHouse por meio do ClickPipes

# Faça a ingestão de dados do Estuary usando o ClickPipes

export const PartnerBadge = () => {
  return <div className="PartnerBadge">
            <div className="PartnerBadgeIcon">
                <svg width="16" height="16" viewBox="0 0 16 16" fill="none" xmlns="http://www.w3.org/2000/svg">
                    <polyline points="12.5 9.5 10 12 6 11 2.5 8.5" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <polyline points="4.54 4.41 8 3.5 11.46 4.41" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M2.15,3.78 L0.55,6.95 A0.5,0.5 0,0,0 0.77,7.62 L2.5,8.5 L4.54,4.41 L2.82,3.55 A0.5,0.5 0,0,0 2.15,3.78 Z" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M13.5,8.5 L15.23,7.62 A0.5,0.5 0,0,0 15.45,6.95 L13.85,3.78 A0.5,0.5 0,0,0 13.18,3.55 L11.46,4.41 Z" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M11.5,4.5 L9,4.5 L6.15,7.27 A0.5,0.5 0,0,0 6.24,8.05 C7.33,8.74 8.81,8.72 10,7.5 L12.5,9.5 L13.5,8.5" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <polyline points="7.75 13.5 5.15 12.85 3.5 11.67" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                </svg>
            </div>
            Integração com parceiro
        </div>;
};

<PartnerBadge />

O Estuary pode se conectar ao ClickHouse por meio do ClickPipe do Kafka.

Com essa integração, não é necessário manter seu próprio ecossistema Kafka. Em vez disso, o Estuary emite novos dados como mensagens Kafka. Você pode configurar um ClickPipe do Kafka para usar as informações do broker e do registro de esquemas do Estuary para consumir essas mensagens.

Consulte a [integração direta do Estuary com o ClickHouse](/docs/pt-BR/integrations/connectors/data-ingestion/community-integrations/estuary-native) como alternativa.

<div id="setup-guide">
  ## Guia de configuração
</div>

**Pré-requisitos**

Você precisará de:

* Uma [conta no Estuary](https://dashboard.estuary.dev/register)
* Uma ou mais [**capturas**](https://docs.estuary.dev/concepts/captures/) no Estuary que extraiam dados das fontes desejadas
* Uma conta do ClickHouse Cloud com permissões para ClickPipes

<Steps>
  <Step title="Criar uma materialização no Estuary" id="1-create-an-estuary-materialization">
    Para transferir dados das coleções de origem no Estuary para o ClickHouse, primeiro você precisará criar uma **materialização**.

    1. No dashboard do Estuary, acesse a página [Destinations](https://dashboard.estuary.dev/materializations).
    2. Clique em **+ New Materialization**.
    3. Selecione o conector **ClickHouse Kafka API**.
    4. Preencha os detalhes nas seções Materialization, Endpoint e Source Collections:
       * **Detalhes da materialização:** forneça um nome exclusivo para sua materialização e escolha um plano de dados (provedor de Cloud e região)
       * **Configuração do endpoint:** forneça um **token de autenticação** seguro
       * **Coleções de origem:** vincule uma **captura** existente ou selecione coleções de dados a serem expostas ao ClickHouse
    5. Clique em **Next** e em **Save and Publish**.
    6. Na página de detalhes da materialização, anote o nome completo da sua materialização do ClickHouse. Ele será semelhante a `your-tenant/your-unique-name/dekaf-clickhouse`.

    O Estuary começará a transmitir as coleções selecionadas como mensagens Kafka. O ClickHouse pode acessar esses dados por meio de um ClickPipe do Kafka usando os detalhes do broker do Estuary e o token de autenticação fornecido.
  </Step>

  <Step title="Inserir os detalhes de conexão do Kafka" id="2-enter-kafka-connection-details">
    Configure um novo ClickPipe do Kafka no ClickHouse e informe os detalhes de conexão:

    1. No dashboard do ClickHouse Cloud, selecione **Data sources**.
    2. Crie um novo **ClickPipe**.
    3. Escolha **Apache Kafka** como fonte de dados.
    4. Insira os detalhes de conexão do Kafka usando as informações de broker e registro do Estuary:
       * Forneça um nome para seu ClickPipe
       * Para o broker, use: `dekaf.estuary-data.com:9092`
       * Mantenha a autenticação na opção padrão `SASL/PLAIN`
       * Para o usuário, informe o nome completo da materialização no Estuary (por exemplo, `your-tenant/your-unique-name/dekaf-clickhouse`)
       * Para a senha, informe o token de autenticação fornecido para sua materialização
    5. Ative a opção de registro de esquemas:
       * Para a URL do esquema, use: `https://dekaf.estuary-data.com`
       * A chave do esquema será a mesma do usuário do broker (o nome da sua materialização)
       * O Secret será o mesmo da senha do broker (seu token de autenticação)
  </Step>

  <Step title="Configurar os dados recebidos" id="3-configure-incoming-data">
    1. Selecione um dos **tópicos** do Kafka (uma das coleções de dados do Estuary).
    2. Escolha um **offset**.
    3. O ClickHouse detectará as mensagens do tópico. Você poderá continuar para a seção **Parse information** a fim de configurar as informações da tabela.
    4. Escolha criar uma nova tabela ou carregar os dados em uma tabela existente correspondente.
    5. Mapeie os campos de origem para as colunas da tabela, confirmando o nome, o tipo e se a coluna aceita valores nulos.
    6. Na seção final **Details and settings**, você poderá selecionar permissões para seu usuário de banco de dados dedicado.

    Quando estiver satisfeito com a configuração, crie o ClickPipe.

    O ClickHouse provisionará sua nova fonte de dados e começará a consumir mensagens do Estuary. Crie quantos ClickPipes forem necessários para transmitir todas as coleções de dados desejadas.
  </Step>
</Steps>

<div id="additional-resources">
  ## Recursos adicionais
</div>

Para saber mais sobre como configurar uma integração do ClickPipe com o Estuary, consulte a documentação do Estuary:

* Consulte a [documentação sobre materialização no ClickHouse](https://docs.estuary.dev/reference/Connectors/materialization-connectors/Dekaf/clickhouse/) do Estuary para a integração com o ClickPipes.
* O Estuary expõe dados como mensagens do Kafka usando o **Dekaf**. Saiba mais sobre o Dekaf no [guia do Estuary](https://docs.estuary.dev/guides/dekaf_reading_collections_from_kafka/).