Какие бизнес-метрики и контрметрики измерять для оценки виджета продвижения товаров
Что проверяют
Умеете ли вы отличить рост виджета от роста бизнеса. Интервьюер ждёт, что вы сразу подумаете о каннибализации и о том, чем пользователь платит за показ продвигаемых товаров. Следом обычно спрашивают, как бы вы спланировали A/B-тест.
Как отвечать
Начните с цели виджета: продавать больше в целом, продвигать товары продавцов за рекламный бюджет или разгружать склад. От этого зависит главная метрика.
- целевая метрика: выручка или GMV на пользователя в тесте против контроля, либо рекламная выручка, если виджет платный для продавцов. Считать на пользователя, а не на сессию;
- воронка виджета: CTR, добавления в корзину из виджета, конверсия из клика в заказ. Они объясняют механику, но решение по ним не принимают;
- контрметрики: общая конверсия страницы и сессии, выручка остальных блоков (не забрал ли виджет клики у выдачи и рекомендаций), маржа, доля отмен и возвратов по товарам из виджета, время загрузки страницы, повторные визиты через одну или две недели;
- метрики продавцов: если продвижение платное, окупаемость для продавца и доля тех, кто продолжает кампании.
Про эксперимент скажите коротко: рандомизация по пользователям, длительность не меньше полного недельного цикла, заранее зафиксированные метрика и минимальный детектируемый эффект. Перед анализом проверяют SRM, то есть расхождение размеров групп с планом. Дисперсию снижают через CUPED на данных до теста.
Где спотыкаются
Отчитываются CTR виджета. Высокий CTR при той же общей выручке значит, что покупки просто переехали из одного блока в другой.
Считают средний чек как отношение сумм по всем заказам и применяют обычный t-тест. Заказы одного пользователя зависимы, нужен дельта-метод или бутстрап по пользователям.
Смотрят на результат каждый день и останавливают тест при первой значимости. Вероятность ложного вывода от этого растёт в разы, поэтому срок фиксируют заранее или берут последовательные методы.