Расскажите про кейс, которым гордитесь за последний год
Что проверяют
Доводите ли вы работу до проверяемого результата или всё заканчивается ноутбуком. По одному кейсу оценивают, как вы ставите метрику, как строите проверку и понимаете ли, что происходит с моделью дальше.
Как отвечать
Расскажите так, чтобы была видна цепочка от задачи до решения.
- С чем пришли: как решение принималось до вас, человеком или простым правилом, и во что это обходилось.
- Базовая линия. Без неё любая метрика повисает в воздухе: для спроса это повторение прошлого периода с учётом сезонности, для классификации простое правило или константа.
- Метрика и почему она. Ошибка прогноза в тех единицах, которыми считает заказчик, или площадь под кривой точности и полноты, если события редкие.
- Валидация. Для временных рядов разбиение только по времени, а признаки считаются на данных, которые были доступны на момент прогноза.
- Проверка в бою: тест на части трафика или сравнение на отложенном периоде, и что показала разница.
- Жизнь модели: как часто переобучаете, что мониторите, что происходит при отказе сервиса.
Сильный ход, назвать, где ошиблись: признак с утечкой, слишком оптимистичная валидация, метрика, которая не совпала с решением заказчика.
Где спотыкаются
Говорят «точность выросла на 30%», не уточняя ни метрику, ни базу сравнения. Относительное падение средней ошибки, абсолютные пункты и доля верных прогнозов это разные вещи, и уточняющий вопрос показывает, что цифра декоративная.
Перемешивают данные случайно там, где есть время. Плюс агрегаты и кодирование по целевой переменной, посчитанные по всей выборке сразу. На отчётах красиво, в проде модель разваливается на первой же неделе.
Останавливаются на обучении. Кто вызывает модель, откуда берутся признаки в бою, что будет, если сервис ответит ошибкой: ответов нет, и кейс перестаёт выглядеть завершённым.