Перейти к основному содержанию
Перейти к основному содержанию

Шаблоны Google Dataflow

ClickHouse Supported

Шаблоны Google Dataflow предоставляют удобный способ запускать готовые к использованию конвейеры обработки данных без необходимости писать собственный код. Эти шаблоны предназначены для упрощения распространённых задач обработки данных и построены на основе Apache Beam, используя коннекторы, такие как ClickHouseIO, для бесшовной интеграции с базами данных ClickHouse. Запуская эти шаблоны на Google Dataflow, вы можете обеспечить высокомасштабируемую распределённую обработку данных при минимальных затратах усилий.

Зачем использовать шаблоны Dataflow?​

  • Простота использования: Шаблоны устраняют необходимость писать код, предоставляя предварительно настроенные конвейеры обработки данных, адаптированные под конкретные сценарии.
  • Масштабируемость: Dataflow обеспечивает эффективное масштабирование вашего конвейера, обрабатывая большие объёмы данных за счёт распределённой обработки.
  • Экономичность: Вы платите только за фактически потреблённые ресурсы и можете оптимизировать затраты на выполнение конвейера.

Как запускать шаблоны Dataflow​

На данный момент официальный шаблон ClickHouse доступен через консоль Google Cloud, CLI или REST API Dataflow. Подробные пошаговые инструкции см. в руководстве Google Dataflow Run Pipeline From a Template Guide.

Список шаблонов ClickHouse​