Какие ограничения и гипотезы накладывает распределение продаж на построение модели
Что проверяют
Смотрите ли вы на данные до выбора модели и функции потерь. Продажи почти никогда не похожи на аккуратную нормальную величину, и интервьюер хочет услышать, что из этого следует. Следом обычно спрашивают, какую метрику вы бы взяли и что делать с нулями.
Как отвечать
Перечислите свойства продаж и последствие каждого:
- неотрицательность и дискретность: продажи в штуках это счётные данные. Линейная регрессия с MSE может предсказать отрицательное значение, логичнее пуассоновская или отрицательная биномиальная постановка;
- много нулей: на уровне товар-магазин-день нули часто в большинстве. Помогают твиди-лосс (
objective='tweedie'в LightGBM,reg:tweedieв XGBoost), двухступенчатые модели или методы прерывистого спроса вроде Кростона; - правый хвост: редкие огромные чеки и оптовые заказы.
log1pсжимает хвост, но обратное преобразование даёт оценку ближе к медиане, чем к среднему, и сумма прогнозов уезжает вниз; - дисперсия растёт со средним: гетероскедастичность, поэтому ошибки на крупных товарах доминируют в MSE;
- цензурирование: продажи это минимум из спроса и остатка. Дни без товара на полке надо помечать или исключать, иначе модель выучит заниженный спрос;
- нестационарность: сезонность, промо, праздники, смена ассортимента. Отсюда временная валидация и календарные признаки.
Из этого вытекает метрика. MAPE ломается на нулях и завышает вес мелких товаров, поэтому берут WAPE, MAE, RMSSE или pinball loss, если бизнесу нужен квантиль для страхового запаса.
Где спотыкаются
Проверяют на нормальность сами продажи. Классическая регрессия предполагает нормальность остатков, а не целевой переменной, и на больших выборках даже это требование второстепенно.
Делают вывод о линейности по гистограмме продаж. Распределение одной переменной ничего не говорит о форме её зависимости от признаков, это смотрят по остаткам и графикам зависимостей.
Удаляют выбросы автоматически. Всплеск на распродаже это реальный спрос, и модель должна уметь его предсказать, если промо известно заранее.