Как учитывать нагрузку на пользователя?
Что проверяют
Прежде всего, уточните ли вы формулировку. В data-ml под нагрузкой на пользователя обычно понимают коммуникационное давление: сколько пушей, писем, звонков и предложений получает один человек. Интервьюер хочет услышать, что вы видите вред от лишних контактов, и следом спрашивает, как этот вред измерить.
Как отвечать
Каркас ответа:
- контактная политика: общие лимиты на число коммуникаций за период и по каналу, паузы после контакта, тишина ночью. Лимит глобальный для всех кампаний, а не у каждой свой;
- выбор, кому и что: кампаний больше, чем допустимых контактов, поэтому для каждого клиента выбирают лучшее предложение. Основа выбора: прогноз uplift-модели (прирост вероятности целевого действия от контакта), умноженный на ценность действия. Распределение под лимиты решают жадно или как задачу оптимизации с ограничениями;
- признаки усталости: число контактов за последние дни и недели, реакция на предыдущие, давность последнего открытия. Их включают в модели отклика;
- измерение вреда: отписки, отключение пушей, жалобы, удаление приложения, падение открываемости. Долгий эффект видно только на глобальной контрольной группе, которую не трогает ни одна кампания.
Если интервьюер имел в виду нагрузку на систему со стороны пользователей, ответ другой: запросы в секунду на пользователя, rate limiting, очереди для тяжёлых задач, прогноз пиков по историческим данным для масштабирования. Уточнение в начале снимает эту развилку.
Вопрос поведенческий, поэтому опорой должен быть ваш кейс: какие лимиты стояли, как их подбирали, что изменилось в отписках и выручке. Цифры берите свои. Если такого проекта не было, скажите прямо и расскажите, как подошли бы к задаче.
Где спотыкаются
Оптимизируют каждую кампанию отдельно по её конверсии. В сумме клиент получает десяток сообщений в неделю и отписывается от всех.
Используют модель отклика вместо uplift и тратят контакты на тех, кто купил бы и без сообщения.
Смотрят только на краткосрочную конверсию и не держат глобальный контроль, поэтому накопленный вред от давления в отчётах не виден.