Как регенерация баннеров повышает конверсии
Что проверяют
Вопрос с продуктовым уклоном: понимаете ли вы, почему свежие креативы вообще влияют на конверсию, и умеете ли доказать эффект, а не просто сослаться на рост CTR. Следом обычно спрашивают, как отличить реальный рост от эффекта новизны и как выбирать, какой вариант показывать.
Как отвечать
Механика простая: креатив выгорает. Чем больше показов одному пользователю, тем ниже CTR, это видно на графике CTR от номера показа. Регенерация, то есть регулярный выпуск новых вариантов, сейчас часто с помощью генеративных моделей, возвращает внимание и позволяет подстроить баннер под сегмент.
Дальше каркас, который ждут от data-ml:
- метрика: не только CTR, а конверсия после клика и выручка на тысячу показов. Кликабельный, но нерелевантный баннер поднимает CTR и роняет CR;
- обнаружение усталости: CTR по когортам числа показов, скользящее окно, порог падения относительно первых дней жизни креатива;
- выбор варианта: многорукие бандиты (Thompson sampling, UCB) вместо долгого A/B на каждый креатив, для персонализации контекстные бандиты с признаками пользователя;
- проверка эффекта: контрольная группа без регенерации, заранее посчитанный размер выборки, длительность не меньше недели, чтобы покрыть разницу дней, и отдельный взгляд на первые дни из-за эффекта новизны;
- генерация: фильтр сгенерированных вариантов по бренд-гайдам и модерации до показа, иначе в ротацию попадает брак.
Если в вашем опыте были такие проекты, называйте свои цифры, дизайн эксперимента и что не сработало. Если не было, честно скажите это и покажите, как бы вы спроектировали эксперимент: это ценится выше выдуманного прироста.
Где спотыкаются
Называют круглые цифры вроде «плюс 20% к CTR» без базы, длительности и доверительного интервала. Интервьюер спросит, как это посчитано, и ответ рассыплется.
Меряют только CTR. Кликбейтный креатив выигрывает по кликам и проигрывает по покупкам и возвратам.
Останавливают тест, как только на третий день увидели значимость. Такое подглядывание раздувает долю ложноположительных результатов, поэтому нужна фиксированная длительность или последовательные тесты с поправкой.