Какие методы использовать для автоматической трансляции значений метрик в инсайты

Что проверяют

Умеете ли вы построить систему, которая сама замечает значимые изменения метрик и объясняет их причину, а не просто рисует дашборд. Следом обычно спрашивают, как бороться с ложными срабатываниями и как отличить реальный сдвиг от сезонности.

Как отвечать

Разложите решение на этапы:

• модель нормы: для каждой метрики строится ожидаемое значение с учётом сезонности, дня недели и праздников. Подходят скользящие квантили, STL-декомпозиция, прогноз моделью временного ряда, и отклонение считают от прогноза, а не от вчерашнего дня;
• детекция аномалий и разладок: остатки после декомпозиции проверяют порогом в робастных единицах (медиана и MAD), для устойчивых сдвигов используют CUSUM и методы change point detection, например библиотеку ruptures;
• поиск причины: метрику раскладывают по измерениям (платформа, регион, канал) и считают вклад каждого среза в отклонение. У метрик-отношений отдельно отделяют эффект смены структуры трафика от изменения внутри сегментов, иначе легко попасть в парадокс Симпсона;
• дерево метрик: выручка раскладывается на трафик, конверсию и средний чек, и инсайт звучит как «упала конверсия на Android», а не «упала выручка»;
• текст и доставка: шаблон или LLM превращает посчитанные факты во фразу, но цифры берутся только из расчёта. Пайплайн запускает оркестратор вроде Airflow, результат уходит в чат или дашборд.

Отдельно скажите про приоритизацию: ранжируйте отклонения по значимости и по деньгам и показывайте топ, а не все сразу. Сотня уведомлений в день равна нулю.

Где спотыкаются

Ставят фиксированный порог «минус 10% ко вчера». Понедельник против воскресенья даёт ложную тревогу каждую неделю, и через месяц алерты перестают читать.

Проверяют сотни срезов и не учитывают множественные сравнения. Пара срезов обязательно окажется «аномальной» случайно, нужны поправка вроде Бенджамини-Хохберга и минимальный размер сегмента.

Отдают LLM сырые данные и просят «найти инсайты». Модель придумывает причины и цифры, её роль стоит ограничить формулировкой уже проверенных фактов.