Улучшения работы с метриками
В этот батч вошли улучшения работы с метриками и создания панелей мониторинга, основанные на отзывах клиента, мигрирующего с Datadog. У него хорошо продуманный рабочий процесс для метрик. Мы ещё не учли все его отзывы, но большинство из них касалось построения графиков и анализа панелей мониторинга с сотнями временных рядов на экране.
Одно изменение не связано с метриками, хотя и появилось в результате того же обсуждения: теперь при создании панели мониторинга плитки привязываются к видимой сетке. Когда вы перетаскиваете плитку или изменяете её размер, за ней появляется сетка и выделяет ячейки вокруг её текущего положения. Раньше было неясно, где окажется плитка и не вытеснит ли её перемещение другую плитку. Сетка делает видимым и то и другое. Она использует ту же геометрию, что и движок компоновки, поэтому направляющие соответствуют конечному положению плитки, включая правый и нижний края.
Изменения в работе с метриками сосредоточены на графиках с большим количеством серий, что часто встречается при группировке по нескольким измерениям. Раньше при наведении на график отображались все серии для этой временной метки. На графике с 300 сериями всплывающая подсказка могла быть выше самого графика, а серия под курсором редко оказывалась нужной.
Теперь на графиках с более чем 10 сериями отображается только серия, ближайшая к курсору. Эта серия отображается поверх остальных, а другие приглушаются. Для графиков с 10 сериями или менее сохраняется полная отсортированная всплывающая подсказка, поэтому их поведение не изменилось. Легенда стала компактнее, и её можно полностью скрыть. Когда она отображается, она также служит элементом выбора и быстрого поиска, упрощая переход к конкретной серии.
Наиболее заметное изменение касается полноэкранного режима, в который обычно переходят после обнаружения отклонения, требующего исследования. Полноэкранный режим теперь доступен одним нажатием значка на панели инструментов, а не через меню с тремя точками. После перехода в этот режим легенда переключается на более удобный вид со сводной информацией и полем поиска. Фильтрация по подстроке в имени серии позволяет сократить 300 серий до нескольких нужных — их можно навести курсор и сравнить.
Один момент изменился после звонка. Выбор между всплывающими подсказками для одной и нескольких серий будет настраиваемым, а не зависящим от фиксированного порога. Сравнение абсолютных значений нескольких серий в один и тот же момент времени полезно, когда таких серий немного, поэтому пользователи должны иметь возможность выбрать поведение, подходящее для конкретного графика.
Связанные PR: #2715 feat(dashboard): отображение сетки привязки при перетаскивании или изменении размера плитки, #2722 улучшение поведения при наведении на временной график с большим количеством серий, #2720 feat(dashboard): перенос полноэкранного режима плитки на значок верхнего уровня панели инструментов, #2719 fix(dashboard): отображение изолированной серии временного графика за пределами ограничения рендеринга линий, #2776 настраиваемые параметры отображения временного графика (легенда, всплывающая подсказка, стиль линии)
Улучшения просмотрщика трассировок
Два небольших исправления в обновлённом просмотрщике трассировок, оба внесены непосредственно на основе отзывов о новом интерфейсе.
Панель сведений о спане недавно переместили вправо от диаграммы водопада, но такое расположение понравилось не всем. Новый элемент управления рядом с кнопкой закрытия панели позволяет перемещать её с правой стороны, которая остаётся расположением по умолчанию, вниз и обратно. Когда панель расположена внизу, её можно перетаскивать, чтобы настроить удобную высоту.
В той же ветке отзывов также обнаружили ошибку переноса строк. При включённом переносе длинные значения атрибутов без естественных точек разрыва всё равно обрезались. Например,
url.path без пробелов, дефисов или тире. Теперь значения атрибутов могут переноситься после любого символа, поэтому их можно прочитать полностью.
Связанные PR: #2693 feat(traces): break-word attribute wrapping + layout toggle
MCP-сервер и улучшения оценок
Самое небольшое изменение может сильнее всего повлиять на внедрение. Настройку включения MCP-сервера в ClickHouse Cloud было сложно найти: пользователям приходилось следовать инструкциям в приложении, а затем искать нужный параметр control plane. Теперь кнопка сразу открывает нужное модальное окно, в котором можно включить сервер.
Brandon продолжает развивать наш фреймворк оценки MCP, опираясь на свою недавнюю работу. Теперь фреймворк может использовать provider и model, отличающиеся от оцениваемых. Ранее для полной оценки требовалось использовать модели Anthropic, поэтому модель могла оценивать собственный результат. Теперь можно указать ключ OpenAI и спецификацию judge model с префиксом provider, чтобы выполнять оценивание через OpenAI.
Сравнение judges выявило полезные различия. Некоторые гораздо строже следуют rubric и не засчитывают запуск, если в нём не используется один конкретный key, тогда как другие принимают достаточно близкий ответ. Мы также исправили обнаруженную в ходе этой работы ошибку stale-grade. Повторная оценка батча с другим judge теперь запускает нового judge, а не возвращает предыдущий результат.
Brandon также добавил новый инструмент MCP
clickstack_emerging_signals, спросив у MCP-сервера, что ему нужно для более высокой оценки в сценарии проверки состояния сервиса. Это детектор новизны шаблонов в двух окнах. Инструмент извлекает шаблоны логов и событий из базового и текущего окон, а затем сравнивает эти два набора. Он сообщает о шаблонах, которые появились, стали значительно чаще встречаться или исчезли.
В отличие от существующих инструментов, Шаблоны событий описывают распространённые события в одном окне, а Event deltas показывают, какие attributes изменились. Новый инструмент добавляет около 10 баллов к оценке проверки состояния сервиса.
В MCP также добавлены CRUD-инструменты для source и вебхуков в ответ на запрос настроить ингестию из skill. Теперь agents могут создавать, обновлять и удалять sources и вебхуки, а не только просматривать их.
Ведётся работа по запуску оценок в CI для каждого pull request, что заменит текущий процесс ручной вставки оценок в описания PR. Заполнение S3 работает. Оставшееся препятствие — предоставить GitHub Action доступ к бакету. После его устранения результаты оценок должны поступать гораздо быстрее.
Связанные PR: #2710 feat(evals): независимые provider/model judge + исправление пропуска stale-grade при смене judge, #2701 feat(mcp): добавлен инструмент clickstack_emerging_signals, #2702 feat(mcp): CRUD-инструменты для source и вебхуков, #2628 feat(evals): каркас M1 CI, сквозной запуск оценок MCP в GitHub Actions, #2674 feat(evals): быстрый seed M2 Parquet-снимка