Платформа для аб-тестов: куплена или разработана самостоятельно?
Что проверяют
Вопрос кандидата, и он выдаёт уровень. Человек, который сам проводил эксперименты, спрашивает не про название платформы, а про то, где считается статистика и кто решает, что тест закончен. Заодно вы выясняете, чем предстоит заниматься: ставить эксперименты или достраивать инструмент.
Как отвечать
После ответа про покупку или свою разработку уточните главное:
- как делятся пользователи: устойчивый хэш от идентификатора с солью эксперимента или случайное назначение при каждом заходе;
- делают ли прогоны A/A и следят ли за перекосом долей: расхождение размеров групп первый признак сломанного сплитования;
- где считается значимость: внутри платформы, в ноутбуке аналитика или в общей витрине;
- фиксируется ли гипотеза с метрикой до старта и есть ли метрики-ограничители;
- как борются с множественными сравнениями и с подглядыванием в результат до конца срока;
- сколько экспериментов идёт одновременно и как они делят трафик.
Читать ответ стоит так. Своя платформа поверх аналитического хранилища это обычное дело, но тогда часть вашего времени уйдёт на её развитие, а не на исследования. Покупное решение снимает инфраструктуру, зато дизайн эксперимента и снижение дисперсии всё равно остаются на команде. Ответ «считаем руками по выгрузке, когда просит продакт» означает, что платформы нет ни в каком виде, и строить придётся вам.
Где спотыкаются
Сводят ответ к списку плюсов и минусов покупки против разработки. Такой список подходит любому инструменту и не показывает, что вы понимаете именно эксперименты.
Вторая ошибка: молчать про дизайн. Без расчёта размера выборки и срока заранее тест останавливают в тот момент, когда цифра понравилась, и платформа здесь ни при чём: результат будет случайным независимо от того, куплена она или написана.
Третья: игнорировать зависимость наблюдений. Деление по пользователю при метрике на уровне заказов, общие для групп рассылки, взаимное влияние продавцов и покупателей на площадке. Независимость нарушается, дисперсия занижается, и обычный критерий начинает показывать победы там, где их нет.