Перейти к основному содержимому
Перейти к основному содержимому

Интеграция Confluent Cloud с ClickHouse

Требования​

Предполагается, что вы знакомы с:

Официальный коннектор Kafka от ClickHouse с Confluent Cloud​

Установка на Confluent Cloud​

Это краткое руководство, которое поможет вам начать работу с ClickHouse Sink Connector на Confluent Cloud. Для получения более подробной информации просмотрите официальную документацию Confluent.

Создание темы​

Создать тему на Confluent Cloud довольно просто, и подробные инструкции можно найти здесь.

Важные замечания​

  • Имя темы Kafka должно совпадать с именем таблицы ClickHouse. Вы можете изменить это с помощью трансформатора (например, ExtractTopic).
  • Большее количество партиций не всегда означает лучшую производительность - смотрите наше предстоящее руководство для получения дополнительной информации и советов по производительности.

Установка коннектора​

Вы можете скачать коннектор из нашего репозитория - пожалуйста, не стесняйтесь оставлять комментарии и сообщения о проблемах там же!

Перейдите в "Коннекторные плагины" -> "Добавить плагин" и используйте следующие настройки:

Пример:

Настройки для добавления пользовательского коннектора

Соберите ваши данные для подключения​

Чтобы подключиться к ClickHouse с помощью HTTP(S), вам нужна следующая информация:

  • ХОСТ и ПОРТ: обычно порт 8443 при использовании TLS или 8123 при его отсутствии.

  • НАЗВАНИЕ БАЗЫ ДАННЫХ: по умолчанию есть база данных с именем default, используйте имя базы данных, к которой вы хотите подключиться.

  • ИМЯ ПОЛЬЗОВАТЕЛЯ и ПАРОЛЬ: по умолчанию имя пользователя default. Используйте имя пользователя, подходящее для вашего случая использования.

Данные для вашей службы ClickHouse Cloud доступны в консоли ClickHouse Cloud. Выберите службу, к которой вы будете подключаться, и нажмите Подключиться:

Кнопка подключения к службе ClickHouse Cloud

Выберите HTTPS, и детали будут доступны в примере команды curl.

Детали подключения ClickHouse Cloud через HTTPS

Если вы используете self-managed ClickHouse, детали подключения задаются вашим администратором ClickHouse.

Настройка коннектора​

Перейдите в Connectors -> Add Connector и используйте следующие настройки (обратите внимание, что значения являются только примерами):

Укажите конечные точки подключения​

Вам необходимо указать список разрешенных конечных точек, доступ к которым может получить коннектор. Вы должны использовать полное доменное имя (FQDN) при добавлении сетевых конечных точек. Пример: u57swl97we.eu-west-1.aws.clickhouse.com:8443

примечание

Вы должны указать порт HTTP(S). Коннектор пока не поддерживает нативный протокол.

Читать документацию.

Вы готовы!

Известные ограничения​