Как модель помогает бизнесу

Что проверяют

Умеете ли вы связать модель с деньгами и решениями, а не только с ROC AUC. Обычно вопрос задают про ваш собственный проект, и следом звучит уточнение: как вы измерили эффект и что было бы без модели.

Как отвечать

Стройте ответ от бизнес-задачи к метрике, а не наоборот. Каркас на примере вашего проекта:

• какое решение принимает модель: одобрить заявку, показать товар, отправить операцию на ручную проверку. Модель ценна ровно настолько, насколько меняет это решение;
• бизнес-метрика: доля невозвратов, конверсия, выручка на пользователя, часы работы операторов. Покажите связь с модельной метрикой: рост recall в антифроде значит меньше пропущенного мошенничества, но больше ложных срабатываний и нагрузки на поддержку;
• базовая линия: с чем сравнивали. Прежние правила, простая эвристика, отсутствие модели. Эффект считается относительно неё;
• как измерили: A/B-тест или отложенная контрольная группа, а не только оффлайн-валидация. В скоринге целевое событие наступает через месяцы, поэтому расскажите, на какие прокси-метрики смотрели сначала;
• цена ошибок и порог: ложноположительный и ложноотрицательный исход стоят по-разному, порог подбирают по стоимости ошибок, а не оставляют 0.5;
• затраты: разработка, инфраструктура, мониторинг дрейфа, поддержка.

Цифры берите свои и с методикой: «снизили долю ручной проверки примерно на треть при том же уровне потерь» звучит сильнее круглых процентов из ниоткуда. Если проект был учебным и эффект никто не мерил, так и скажите, а затем опишите, как бы вы его измерили и какую метрику выбрали бы.

Где спотыкаются

Отвечают только модельными метриками: «AUC 0.87». Интервьюер слышит, что вы не знаете, что было после обучения.

Приписывают модели весь рост показателей без контрольной группы. Сезонность или маркетинговая кампания легко дают тот же эффект.

Не упоминают, когда модель не нужна. Сильный ответ включает случаи, где хватило правил или SQL-отчёта, и объясняет почему.