> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

> Настройка интеграции Estuary с ClickHouse через ClickPipes

# Ингестия данных Estuary с помощью ClickPipes

export const PartnerBadge = () => {
  return <div className="PartnerBadge">
            <div className="PartnerBadgeIcon">
                <svg width="16" height="16" viewBox="0 0 16 16" fill="none" xmlns="http://www.w3.org/2000/svg">
                    <polyline points="12.5 9.5 10 12 6 11 2.5 8.5" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <polyline points="4.54 4.41 8 3.5 11.46 4.41" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M2.15,3.78 L0.55,6.95 A0.5,0.5 0,0,0 0.77,7.62 L2.5,8.5 L4.54,4.41 L2.82,3.55 A0.5,0.5 0,0,0 2.15,3.78 Z" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M13.5,8.5 L15.23,7.62 A0.5,0.5 0,0,0 15.45,6.95 L13.85,3.78 A0.5,0.5 0,0,0 13.18,3.55 L11.46,4.41 Z" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <path d="M11.5,4.5 L9,4.5 L6.15,7.27 A0.5,0.5 0,0,0 6.24,8.05 C7.33,8.74 8.81,8.72 10,7.5 L12.5,9.5 L13.5,8.5" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                    <polyline points="7.75 13.5 5.15 12.85 3.5 11.67" stroke="currentColor" strokeLinecap="round" strokeLinejoin="round" strokeWidth="1" />
                </svg>
            </div>
            Партнерская интеграция
        </div>;
};

<PartnerBadge />

Estuary может подключаться к ClickHouse через Kafka ClickPipe.

Эта интеграция избавляет от необходимости поддерживать собственную экосистему Kafka. Вместо этого Estuary отправляет новые данные в виде сообщений Kafka. Вы можете настроить Kafka ClickPipe на использование сведений о брокере и реестре схем Estuary для получения этих сообщений.

В качестве альтернативы см. [прямую интеграцию Estuary с ClickHouse](/docs/ru/integrations/connectors/data-ingestion/community-integrations/estuary-native).

<div id="setup-guide">
  ## Руководство по настройке
</div>

**Предварительные требования**

Вам потребуется:

* [Аккаунт Estuary](https://dashboard.estuary.dev/register)
* Один или несколько [**capture**](https://docs.estuary.dev/concepts/captures/) в Estuary, получающих данные из нужных источников
* Аккаунт ClickHouse Cloud с разрешениями на работу с ClickPipe

<Steps>
  <Step title="Создайте materialization в Estuary" id="1-create-an-estuary-materialization">
    Чтобы передавать данные из исходных collection в Estuary в ClickHouse, сначала необходимо создать **materialization**.

    1. На панели мониторинга Estuary перейдите на страницу [Destinations](https://dashboard.estuary.dev/materializations).
    2. Нажмите **+ New Materialization**.
    3. Выберите коннектор **ClickHouse Kafka API**.
    4. Заполните сведения в разделах Materialization, Endpoint и Source Collections:
       * **Сведения о materialization:** укажите уникальное имя materialization и выберите data plane (облачного провайдера и регион).
       * **Конфигурация конечной точки:** укажите защищённый **Auth Token**.
       * **Исходные collection:** свяжите существующий **capture** или выберите collection данных, которые будут доступны в ClickHouse.
    5. Нажмите **Next**, а затем **Save and Publish**.
    6. На странице сведений о materialization запишите полное имя materialization для ClickHouse. Оно будет выглядеть примерно так: `your-tenant/your-unique-name/dekaf-clickhouse`.

    Estuary начнёт передавать выбранные collection в режиме стриминга в виде сообщений Kafka. ClickHouse сможет обращаться к этим данным через Kafka ClickPipe, используя сведения о брокере Estuary и указанный вами токен аутентификации.
  </Step>

  <Step title="Введите сведения о подключении Kafka" id="2-enter-kafka-connection-details">
    Настройте новый Kafka ClickPipe в ClickHouse и укажите сведения о подключении:

    1. На панели мониторинга ClickHouse Cloud выберите **Источники данных**.
    2. Создайте новый **ClickPipe**.
    3. Выберите **Apache Kafka** в качестве источника данных.
    4. Введите сведения о подключении Kafka, используя информацию о брокере и registry Estuary:
       * Укажите имя для ClickPipe.
       * В качестве брокера укажите: `dekaf.estuary-data.com:9092`.
       * Оставьте значение аутентификации по умолчанию: `SASL/PLAIN`.
       * В поле пользователя укажите полное имя materialization из Estuary (например, `your-tenant/your-unique-name/dekaf-clickhouse`).
       * В поле пароля укажите токен аутентификации, заданный для materialization.
    5. Включите параметр реестра схем:
       * В качестве URL схемы укажите: `https://dekaf.estuary-data.com`.
       * Ключ схемы совпадает с именем пользователя брокера (именем materialization).
       * Секрет совпадает с паролем брокера (вашим токеном аутентификации).
  </Step>

  <Step title="Настройте входящие данные" id="3-configure-incoming-data">
    1. Выберите один из Kafka **топиков** (одну из collection данных в Estuary).
    2. Выберите **смещение**.
    3. ClickHouse обнаружит сообщения топика. Затем перейдите в раздел **Parse information**, чтобы настроить сведения о таблице.
    4. Выберите создание новой таблицы или загрузку данных в соответствующую существующую таблицу.
    5. Сопоставьте исходные поля со столбцами таблицы, указав имя столбца, тип и допустимость значения NULL.
    6. В заключительном разделе **Details and settings** можно выбрать разрешения для выделенного пользователя базы данных.

    Когда конфигурация будет готова, создайте ClickPipe.

    ClickHouse подготовит новый источник данных и начнёт получать сообщения из Estuary. Создайте столько ClickPipes, сколько потребуется для стриминга всех нужных collection данных.
  </Step>
</Steps>

<div id="additional-resources">
  ## Дополнительные ресурсы
</div>

Подробнее о настройке интеграции ClickPipe с Estuary см. в документации Estuary:

* Сведения об интеграции ClickPipes см. в документации Estuary по [materialization данных в ClickHouse](https://docs.estuary.dev/reference/Connectors/materialization-connectors/Dekaf/clickhouse/).
* Estuary передаёт данные в виде сообщений Kafka с помощью **Dekaf**. Подробнее о Dekaf см. в [руководстве Estuary](https://docs.estuary.dev/guides/dekaf_reading_collections_from_kafka/).