Какова основная цель модели
Что проверяют
Чаще всего вопрос задают про модель из вашего проекта: умеете ли вы связать её с бизнес-задачей, а не только с метрикой на валидации. Следом спрашивают, как вы поняли, что модель достигла цели, и что было бы без неё.
Как отвечать
Стройте ответ от решения, которое модель помогает принять, к технике:
- бизнес-цель: какое действие меняется благодаря прогнозу. Не «предсказать отток», а «решить, на каких клиентов потратить ограниченный бюджет удержания»;
- постановка: что является целевой переменной, на каком горизонте, для какой единицы (клиент, заказ, сессия) и какие признаки известны в момент прогноза;
- офлайн-метрика: выбирается под цену ошибок. При дисбалансе классов accuracy бесполезна, смотрят PR-AUC или recall при фиксированной precision, в регрессии MAE или MAPE;
- бейзлайн: правило, эвристика или логистическая регрессия, с которой сравнивают модель. Без него «ROC-AUC 0,82» ничего не говорит;
- онлайн-проверка: A/B-тест по бизнес-метрике, потому что офлайн-метрика и деньги растут не всегда вместе;
- ограничения: задержка ответа, интерпретируемость, частота переобучения, дрейф данных.
Если вопрос задан в общем виде, короткий ответ такой: цель модели в том, чтобы обобщать на новые данные, то есть минимизировать ожидаемую ошибку на том, чего она не видела, а не подогнаться под обучающую выборку.
Про свой проект говорите своими цифрами: какой был бейзлайн, какой получился прирост и в чём он измерялся. Если модель не дошла до продакшена, так и скажите и объясните, какую проверку вы бы провели.
Где спотыкаются
Отвечают «цель модели в высокой точности». Интервьюер слышит, что вы не знаете, зачем модель бизнесу, а слово «точность» к тому же двусмысленно: accuracy или precision.
Не упоминают бейзлайн. Модель с хорошей метрикой, которая не обгоняет простое правило, задачу не решает, а в поддержке стоит дороже.
Путают целевую переменную с тем, что известно только постфактум. Признак, который появляется после события, даёт утечку данных: метрика на валидации отличная, в продакшене модель бесполезна.