Как рассчитывать экономический эффект от использования моделей

Что проверяют

Умеете ли вы перевести метрику модели в деньги и отделить эффект модели от всего остального, что происходило в бизнесе. Следом почти всегда просят пример из вашего опыта: как вы доказали, что деньги принесла именно модель.

Как отвечать

Покажите цепочку от модели к деньгам:

• базовая линия: с чем сравниваем. Эффект считается против текущего процесса (правила, ручная работа, старая модель), а не против нуля;
• инкрементальность: честный способ это A/B тест или контрольная группа, которой модель не показывается. Сравнение «до и после» смешивает модель с сезонностью и маркетингом;
• перевод в деньги: для оттока это удержанные клиенты × маржа за срок жизни минус стоимость удерживающих предложений, включая скидки тем, кто и так бы остался. Для антифрода это предотвращённые потери минус стоимость ложных срабатываний;
• затраты: разработка, инфраструктура и инференс, разметка, поддержка, переобучение, время смежных команд;
• неопределённость: доверительный интервал эффекта и горизонт расчёта. Эффект, интервал которого пересекает ноль, не доказан.

Отдельно скажите, что ROC-AUC или F1 сами по себе денег не показывают: порог модели лучше выбирать по матрице стоимостей ошибок, а не по максимуму метрики.

Поскольку вопрос о практике, стройте ответ на своём кейсе: задача, как мерили, сколько вышло и с какой погрешностью. Цифры должны быть ваши, округлённые и объяснимые. Если модель до денег не довели, так и скажите и покажите, как бы считали: какую метрику, на какой группе и за какой срок.

Где спотыкаются

Берут выручку вместо прибыли и весь рост продаж приписывают модели. Интервьюер сразу спросит про контрольную группу.

Считают только затраты на разработку и забывают про стоимость эксплуатации и переобучения, из-за чего ROI выглядит в разы лучше реального.

Приносят круглые проценты без методики. Фраза «модель дала плюс 15%» без ответа на вопрос «относительно чего и как мерили» работает против вас.