Как выбрать ключевую метрику и прокси метрику

Что проверяют

Понимаете ли вы разницу между метрикой, ради которой существует продукт, и метрикой, которую можно сдвинуть и увидеть за время эксперимента. Следом почти всегда просят доказать, что выбранная прокси действительно связана с ключевой, а не просто растёт вместе с ней.

Как отвечать

Начните с ключевой метрики. Она выводится из того, за что продукт получает деньги или ценность: выручка, удержание, LTV, число успешно закрытых задач пользователя. Хорошая ключевая метрика отражает ценность для клиента, понятна всей команде и её сложно накрутить. Минус у неё обычно один: она медленная и шумная, в двухнедельном A/B-тесте удержание 90-го дня не измерить.

Отсюда нужна прокси. Требования к ней:

• чувствительность: реагирует на изменения за время теста при разумной выборке;
• связь с целью: есть основания считать, что её рост ведёт к росту ключевой, а не только коррелирует на одном срезе;
• однонаправленность: не бывает ситуаций, где прокси растёт, а ключевая падает;
• устойчивость к накрутке: команда не может «выиграть» прокси, ухудшив продукт.

Проверяют связь на истории: берут прошлые эксперименты и смотрят, совпадало ли направление эффекта на прокси и на ключевой. Если в большинстве тестов они двигались в одну сторону, прокси можно брать. Добавьте guardrail-метрики: время загрузки, отписки, жалобы в поддержку, чтобы оптимизация прокси не ломала остальное. Пример цепочки: ключевая метрика это удержание подписчиков, прокси это доля новых пользователей, сделавших целевое действие в первые 7 дней.

Где спотыкаются

Берут корреляцию за причинность. Пользователи, которые чаще открывают приложение, лучше удерживаются, но это не значит, что пуш-рассылка ради лишних открытий поднимет удержание.

Выбирают прокси, которую легко накрутить: клики, просмотры, время на странице. Рост времени на странице иногда означает, что человек просто не может найти нужное.

Называют ключевой метрикой количество регистраций или трафик. Это верх воронки, а не ценность, и на вопрос «а если все зарегистрированные уйдут через неделю» ответа нет.