Интеграция с ClickHouse Cloud
Введение
ClickPipes — это управляемая платформа интеграции, которая делает процесс загрузки данных из различных источников простым и удобным. Разработанная для самых требовательных рабочих нагрузок, надежная и масштабируемая архитектура ClickPipes обеспечивает стабильную производительность и надежность. ClickPipes можно использовать как для долгосрочных потоковых нужд, так и для одноразовых загрузок данных.
Поддерживаемые источники данных
| Название | Логотип | Тип | Статус | Описание |
|---|---|---|---|---|
| Apache Kafka | Потоковые | Стабильный | Настройте ClickPipes и начните загружать потоковые данные из Apache Kafka в ClickHouse Cloud. | |
| Confluent Cloud | Потоковые | Стабильный | Откройте комбинированную мощь Confluent и ClickHouse Cloud через нашу прямую интеграцию. | |
| Redpanda |  | Потоковые | Стабильный | Настройте ClickPipes и начните загружать потоковые данные из Redpanda в ClickHouse Cloud. |
| AWS MSK | Потоковые | Стабильный | Настройте ClickPipes и начните загружать потоковые данные из AWS MSK в ClickHouse Cloud. | |
| Azure Event Hubs | Потоковые | Стабильный | Настройте ClickPipes и начните загружать потоковые данные из Azure Event Hubs в ClickHouse Cloud. | |
| WarpStream | Потоковые | Стабильный | Настройте ClickPipes и начните загружать потоковые данные из WarpStream в ClickHouse Cloud. | |
| Amazon S3 | Объектное хранилище | Стабильный | Настройте ClickPipes для загрузки больших объемов данных из объектного хранилища. | |
| Google Cloud Storage | Объектное хранилище | Стабильный | Настройте ClickPipes для загрузки больших объемов данных из объектного хранилища. | |
| Amazon Kinesis | Потоковые | Стабильный | Настройте ClickPipes и начните загружать потоковые данные из Amazon Kinesis в ClickHouse Cloud. | |
| Postgres | СУБД | Публичная бета | Настройте ClickPipes и начните загружать данные из Postgres в ClickHouse Cloud. |
Больше коннекторов будет добавлено в ClickPipes, вы можете узнать больше, связавшись с нами.
Список статических IP-адресов
Следующие статические NAT IP-адреса (разделенные по регионам), которые ClickPipes использует для подключения к вашим внешним службам. Добавьте соответствующие IP-адреса региона вашей инстанции в белый список IP-адресов для разрешения трафика. Если регион вашей инстанции не указан здесь, он будет считаться регионом по умолчанию:
- eu-central-1 для регионов ЕС
- us-east-1 для инстанций в
us-east-1 - us-east-2 для всех остальных регионов
| Регион ClickHouse Cloud | IP-адреса |
|---|---|
| eu-central-1 | 18.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40 |
| us-east-2 | 3.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180 |
| us-east-1 | 54.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150 |
Настройка параметров ClickHouse
ClickHouse Cloud предоставляет разумные параметры по умолчанию для большинства случаев использования. Однако, если вам нужно настроить некоторые параметры ClickHouse для целевых таблиц ClickPipes, создание специальной роли для ClickPipes является наиболее гибким решением. Шаги:
- создайте пользовательскую роль
CREATE ROLE my_clickpipes_role SETTINGS .... Смотрите синтаксис CREATE ROLE для подробностей. - добавьте пользовательскую роль к пользователю ClickPipes на шаге
Детали и настройкиво время создания ClickPipes.
Сообщение об ошибках
ClickPipes создаст таблицу рядом с вашей целевой таблицей с постфиксом <destination_table_name>_clickpipes_error. Эта таблица будет содержать любые ошибки, возникающие при работе вашего ClickPipes (сеть, подключение и т.д.), а также любые данные, которые не соответствуют схеме. У таблицы с ошибками есть TTL 7 дней.
Если ClickPipes не может подключиться к источнику данных или цели в течение 15 минут, инстанция ClickPipes останавливается и сохраняет соответствующее сообщение в таблице с ошибками (при условии, что инстанция ClickHouse доступна).
ЧАВО
-
Что такое ClickPipes?
ClickPipes — это функция ClickHouse Cloud, которая упрощает пользователям подключение своих услуг ClickHouse к внешним источникам данных, особенно к Kafka. С помощью ClickPipes для Kafka пользователи могут легко загружать данные в ClickHouse, делая их доступными для аналитики в реальном времени.
-
Поддерживает ли ClickPipes преобразование данных?
Да, ClickPipes поддерживает базовые преобразования данных, предоставляя возможность создания DDL. Вы можете затем применять более сложные преобразования к данным по мере их загрузки в целевую таблицу в ClickHouse Cloud, используя функцию материализованных представлений ClickHouse.
-
Влечет ли использование ClickPipes дополнительные расходы?
ClickPipes платится по двум параметрам: загруженные данные и вычисления. Полные детали ценообразования доступны на этой странице. Запуск ClickPipes также может генерировать косвенные расходы на вычисления и хранение в целевой службе ClickHouse Cloud, аналогично любой нагрузке на загрузку.
-
Существует ли способ обработки ошибок или сбоев при использовании ClickPipes для Kafka?
Да, ClickPipes для Kafka будет автоматически повторять попытки в случае сбоев при получении данных из Kafka. ClickPipes также поддерживает возможность включения специальной таблицы ошибок, которая будет хранить ошибки и неправильно отформатированные данные в течение 7 дней.