Генерация синтетических данных OpenTelemetry с помощью otelgen

otelgen — небольшая CLI-утилита на Go, которая генерирует синтетические журналы, трассировки и метрики OTLP. Используйте её, чтобы проверить, что существующий коллектор ClickStack OpenTelemetry принимает данные, а события появляются в интерфейсе ClickStack. В этом руководстве предполагается, что коллектор уже запущен и использует конечные точки OTLP на 4317 (gRPC) и 4318 (HTTP).

Управляемый ClickStack
ClickStack с открытым исходным кодом

Предварительные требования

В этом руководстве предполагается, что вы уже выполнили руководство «Начало работы» для Управляемого ClickStack и у вас запущен OpenTelemetry Collector с конечными точками OTLP gRPC (4317) и HTTP (4318), доступными с машины, на которой вы запускаете otelgen. Если вы защитили коллектор с помощью OTLP_AUTH_TOKEN, держите это значение под рукой.

Установите otelgen

Установите через Homebrew:

brew install krzko/tap/otelgen

Или установите через Go:

go install github.com/krzko/otelgen@latest

Задайте переменные окружения

Экспортируйте конечную точку коллектора и, если коллектор защищён, токен аутентификации:

export OTEL_ENDPOINT=<host>:4317
export OTLP_AUTH_TOKEN=<your_otlp_auth_token>

Используйте хост и порт вашего коллектора. Если коллектор работает на той же машине, укажите localhost:4317.

Незащищённый коллекторКоллектор ClickStack OpenTelemetry по умолчанию не требует аутентификации. Если вы не выполняли инструкции из раздела Защита коллектора и не задавали OTLP_AUTH_TOKEN, пропустите здесь OTLP_AUTH_TOKEN и уберите флаг --header из команд ниже.

Сгенерируйте трассировки

Отправьте короткую серию трассировок с несколькими спанами:

otelgen --otel-exporter-otlp-endpoint ${OTEL_ENDPOINT} \
  --header "authorization=${OTLP_AUTH_TOKEN}" \
  --protocol grpc --insecure \
  --rate 2 --duration 10 \
  traces multi

--rate — это количество трассировок в секунду, а --duration — длительность выполнения в секундах. --insecure отключает TLS для gRPC-соединения, что необходимо, если otelgen указывает на незашифрованный OTLP-порт коллектора.

Сгенерируйте логи

otelgen --otel-exporter-otlp-endpoint ${OTEL_ENDPOINT} \
  --header "authorization=${OTLP_AUTH_TOKEN}" \
  --protocol grpc --insecure \
  --rate 2 --duration 10 \
  logs multi

Сгенерируйте метрики

Подкоманды metrics не учитывают --duration. Запустите команду и через несколько секунд нажмите Ctrl+C, чтобы остановить её.

otelgen --otel-exporter-otlp-endpoint ${OTEL_ENDPOINT} \
  --header "authorization=${OTLP_AUTH_TOKEN}" \
  --protocol grpc --insecure \
  --rate 2 \
  metrics sum

otelgen также поддерживает подкоманды gauge, histogram, up-down-counter и exponential-histogram в группе metrics.

Проверьте в ClickStack

Откройте интерфейс ClickStack из консоли ClickHouse Cloud. В представлении Search переключайте источник между Logs и Traces, чтобы убедиться, что появились новые события. Установите временной диапазон Last 15 minutes. Откройте Chart Explorer, выберите Metrics и постройте график по одному из имён метрик, созданных otelgen (например, otelgen.metrics.sum), чтобы проверить ингестию метрик.

Предварительные требования

В этом руководстве предполагается, что вы запустили Open Source ClickStack, следуя инструкциям для универсального image, и что конечные точки OTLP (4317 gRPC и 4318 HTTP) доступны. Вам также потребуется ключ API для приёма данных из интерфейса HyperDX в разделе Team Settings > API Keys.

Установите otelgen

Установите с помощью Homebrew:

brew install krzko/tap/otelgen

Или установите с помощью Go:

go install github.com/krzko/otelgen@latest

Задайте переменные окружения

Экспортируйте конечную точку collector и ключ API для приёма данных:

export OTEL_ENDPOINT=localhost:4317
export CLICKSTACK_API_KEY=<your_ingestion_api_key>

Сгенерируйте traces

Отправьте короткую серию traces с несколькими span:

otelgen --otel-exporter-otlp-endpoint ${OTEL_ENDPOINT} \
  --header "authorization=${CLICKSTACK_API_KEY}" \
  --protocol grpc --insecure \
  --rate 2 --duration 10 \
  traces multi

--rate — это количество traces в секунду, а --duration — длительность выполнения в секундах. --insecure включает plaintext gRPC для локального collector.

Сгенерируйте журналы

otelgen --otel-exporter-otlp-endpoint ${OTEL_ENDPOINT} \
  --header "authorization=${CLICKSTACK_API_KEY}" \
  --protocol grpc --insecure \
  --rate 2 --duration 10 \
  logs multi

Сгенерируйте метрики

Подкоманды metrics не поддерживают --duration. Запустите команду и через несколько секунд нажмите Ctrl+C, чтобы остановить её.

otelgen --otel-exporter-otlp-endpoint ${OTEL_ENDPOINT} \
  --header "authorization=${CLICKSTACK_API_KEY}" \
  --protocol grpc --insecure \
  --rate 2 \
  metrics sum

otelgen также поддерживает подкоманды gauge, histogram, up-down-counter и exponential-histogram в разделе metrics.

Проверьте в ClickStack

Перейдите по адресу http://localhost:8080, чтобы открыть интерфейс ClickStack. В представлении Search переключайте source между Logs и Traces, чтобы убедиться, что появились новые события. Установите time range Last 15 minutes. Откройте Chart Explorer, выберите Metrics и постройте chart по одному из metric name, созданных otelgen (например, otelgen.metrics.sum), чтобы проверить ингестию метрик.

Возможности

Руководства

Генерация синтетических данных OpenTelemetry с помощью otelgen