Используете ли алертинг через Grafana

Что проверяют

Есть ли у вас опыт эксплуатации своих сервисов, а не только написания кода: какие метрики вы отдаёте, на что ставите алерты и что делаете, когда они срабатывают. Следом обычно спрашивают, как вы выбираете пороги и боретесь с ложными срабатываниями.

Как отвечать

Стройте ответ на своём опыте: какой сервис, какие алерты, один реальный случай, когда алерт помог. Цифры и примеры должны быть вашими. Опорные точки:

• метрики из Go: prometheus/client_golang и promhttp.Handler() на /metrics. Счётчики запросов и ошибок с метками метода и кода ответа, гистограмма задержек, встроенные метрики рантайма: go_goroutines, паузы GC, память;
• правила: в актуальных версиях Grafana алерты живут в Grafana Alerting, старые алерты на панелях удалены. Правило это запрос, условие (Reduce, Threshold, Math), интервал оценки и pending period, в течение которого условие должно держаться, чтобы алерт не дребезжал;
• маршрутизация: contact points (Telegram, Slack, почта, webhook) и notification policies, которые по меткам вроде severity и team решают, кому и как часто слать, и группируют алерты. Silences и mute timings глушат плановые работы;
• что алертить: симптомы, которые чувствует пользователь, а не причины. Доля 5xx, p99 задержки через histogram_quantile, скорость расходования бюджета ошибок SLO. Рост горутин полезен как ранний признак утечки;
• хранение: правила описывают кодом через provisioning или Terraform, в каждом алерте ссылка на runbook.

Если работали с Prometheus Alertmanager, а не с Grafana, так и скажите: принципы те же. Если алертинг настраивали не вы, честно опишите свою роль: отдавали метрики, дежурили, разбирали инциденты.

Где спотыкаются

Ставят алерты на всё подряд, включая CPU выше 80 процентов. Через неделю команда перестаёт их читать, и настоящий инцидент тонет в шуме.

Не настраивают поведение при отсутствии данных. Упавший сервис перестаёт отдавать метрики, запрос возвращает пустоту, и алерт на долю ошибок молчит ровно тогда, когда нужен.

Кладут в метки user_id или полный URL с параметрами. Кардинальность взрывается, Prometheus раздувается, а запросы в алертах начинают тормозить.