> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

> Guia passo a passo para criar seu primeiro ClickPipe do Amazon S3.

# Criando seu primeiro ClickPipe do Amazon S3

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

O ClickPipe do S3 oferece uma forma totalmente gerenciada e resiliente de fazer a ingestão de dados do Amazon S3 e de armazenamentos de objetos compatíveis com S3 para o ClickHouse Cloud. Ele oferece suporte tanto à **ingestão única** quanto à **ingestão contínua**, com garantia de processamento exatamente uma vez.

<Steps>
  <Step title="Selecione a fonte de dados" id="1-select-the-data-source">
    **1.** No ClickHouse Cloud, selecione **Fontes de dados** no menu principal e clique em **Criar ClickPipe**.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_step0.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=fb04bb07245be43cb784fa68cee62287" alt="Selecionar importações" width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.webp" />
    </Frame>

    **2.** Clique no bloco **Amazon S3**. Você também pode usar esse bloco para se conectar a outros serviços compatíveis com S3 que não estão listados na UI do ClickPipes.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step1.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=5df9a6650380fcad80cc09d0324fff66" alt="Selecionar importações" width="3016" height="954" data-path="images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step1.webp" />
    </Frame>

    <Tip>
      Devido a diferenças nos formatos de URL e nas implementações de API entre provedores de serviços de armazenamento de objetos, nem todos os serviços compatíveis com S3 são compatíveis imediatamente. Se você estiver tendo problemas com um serviço que não está listado em [fontes de dados compatíveis](/docs/pt-BR/integrations/clickpipes/object-storage/amazon-s3/overview#supported-data-sources), [entre em contato com nossa equipe](https://clickhouse.com/company/contact?loc=clickpipes).
    </Tip>
  </Step>

  <Step title="Configure a conexão do seu ClickPipe" id="2-setup-your-clickpipe-connection">
    **1.** Para configurar um novo ClickPipe, você deve fornecer os detalhes de conexão e autenticação do seu serviço de armazenamento de objetos.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step2.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=4b560decaf2b046c1ecd43fc4ace8902" alt="Preencha os detalhes da conexão" width="3014" height="1402" data-path="images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step2.webp" />
    </Frame>

    * **Método de autenticação**: o S3 ClickPipe oferece suporte a [credenciais do IAM](/docs/pt-BR/integrations/clickpipes/object-storage/amazon-s3/overview#iam-credentials) (`Credentials`) e [autenticação baseada em IAM role](/docs/pt-BR/integrations/clickpipes/object-storage/amazon-s3/overview#iam-role) (`IAM role`). Consulte a [documentação de referência](/docs/pt-BR/integrations/clickpipes/object-storage/amazon-s3/overview#access-control) para orientações sobre autenticação e permissões.

      * **Caminho do arquivo no S3**: o S3 ClickPipe usa uma [URI no estilo virtual-hosted](https://docs.aws.amazon.com/AmazonS3/latest/userguide/VirtualHosting.html#virtual-hosted-style-access).

        ```bash theme={null}
        https://bucket-name.s3.region-code.amazonaws.com/key-name
        ```

        Você pode usar curingas POSIX para corresponder a vários arquivos ou prefixos. Consulte a [documentação de referência](/docs/pt-BR/integrations/clickpipes/object-storage/amazon-s3/overview#file-pattern-matching) para orientações sobre os padrões compatíveis.

    **2.** Clique em **Dados recebidos**. O ClickPipes buscará os metadados do seu bucket para a próxima etapa.
  </Step>

  <Step title="Selecionar formato de dados" id="3-select-data-format">
    A UI exibirá uma lista de arquivos no `bucket` especificado.
    Selecione o formato dos seus dados (no momento, oferecemos suporte a um subconjunto dos formatos do ClickHouse) e informe se deseja habilitar a ingestão contínua.
    Consulte a seção "ingestão contínua" na página de visão geral para mais detalhes.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=e3c03fbaec5b6db3810a4380343c42b9" alt="Definir formato dos dados e tópico" width="2336" height="1566" data-path="images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp" />
    </Frame>
  </Step>

  <Step title="Configurar tabela, esquema e configurações" id="5-configure-table-schema-settings">
    Na próxima etapa, você poderá escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente.
    Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações.
    Você pode ver uma prévia em tempo real das suas alterações na tabela de exemplo na parte superior.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_step4a.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=e0cdb9469f6867e897cc77541af7f59b" alt="Definir tabela, esquema e configurações" width="2734" height="1328" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a.webp" />
    </Frame>

    Você também pode personalizar as configurações avançadas usando os controles fornecidos.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_step4a3.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=db7cb839e136d26563b239937f029c7a" alt="Definir controles avançados" width="1592" height="338" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a3.webp" />
    </Frame>

    Como alternativa, você pode optar por fazer a ingestão dos seus dados em uma tabela existente do ClickHouse.
    Nesse caso, a UI permitirá mapear campos da origem para os campos do ClickHouse na tabela de destino selecionada.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_step4b.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=a5cb66aa9b3855c5d53b340dbd89b108" alt="Usar uma tabela existente" width="2738" height="1322" data-path="images/integrations/data-ingestion/clickpipes/cp_step4b.webp" />
    </Frame>

    <Info>
      Você também pode mapear [colunas virtuais](/docs/pt-BR/reference/functions/table-functions/s3#virtual-columns), como `_path` ou `_size`, para campos.
    </Info>
  </Step>

  <Step title="Configurar permissões" id="6-configure-permissions">
    Por fim, você pode configurar as permissões do usuário interno do ClickPipes.

    **Permissões:** o ClickPipes criará um usuário dedicado para gravar dados em uma tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

    * `Full access`: com acesso total ao cluster. Necessário se você usar visão materializada ou Dicionário com a tabela de destino.
    * `Only destination table`: apenas com permissões de `INSERT` na tabela de destino.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_step5.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=71ea5baaa2c38fcc83b160f4856264ab" alt="Permissões" width="2736" height="1318" data-path="images/integrations/data-ingestion/clickpipes/cp_step5.webp" />
    </Frame>
  </Step>

  <Step title="Concluir configuração" id="7-complete-setup">
    Ao clicar em "Concluir configuração", o sistema registrará seu ClickPipe, e você poderá vê-lo listado na tabela de resumo.

    <div className="ch-image-sm">
      <Frame>
        <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_success.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=ce045b4a85e7f294d23c03897e9ce11f" alt="Aviso de sucesso" width="613" height="212" data-path="images/integrations/data-ingestion/clickpipes/cp_success.webp" />
      </Frame>
    </div>

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_remove.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=83b452ee5d8017da1b1c0d50cf8a491d" alt="Aviso de remoção" width="2756" height="1320" data-path="images/integrations/data-ingestion/clickpipes/cp_remove.webp" />
    </Frame>

    A tabela de resumo oferece controles para exibir dados de exemplo da origem ou da tabela de destino no ClickHouse.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_destination.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=cb3ebed0c324cb30c6cbf35726b3bec7" alt="Ver destino" width="2758" height="1316" data-path="images/integrations/data-ingestion/clickpipes/cp_destination.webp" />
    </Frame>

    Ela também oferece controles para remover o ClickPipe e exibir um resumo do trabalho de ingestão.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99/Rm4A9_kDxZf0ApeE/images/integrations/data-ingestion/clickpipes/cp_overview.webp?fit=max&auto=format&n=Rm4A9_kDxZf0ApeE&q=85&s=1ce91f5079842cfc66a4c88919f2e061" alt="Ver visão geral" width="3436" height="1076" data-path="images/integrations/data-ingestion/clickpipes/cp_overview.webp" />
    </Frame>

    **Parabéns!** Você configurou com sucesso seu primeiro ClickPipe.
    Se este for um ClickPipe configurado para ingestão contínua, ele será executado continuamente, fazendo a ingestão de dados em tempo real da sua fonte de dados remota.
    Caso contrário, ele fará a ingestão do lote e será concluído.
  </Step>
</Steps>
