Сколько людей работало над скорингом
Что проверяют
Масштаб вашей личной роли. По размеру команды интервьюер прикидывает, что из рассказанного сделали именно вы, и заодно проверяет, знаете ли вы весь цикл скоринговой модели, а не только обучение.
Как отвечать
Назовите состав и сразу свою зону: сколько человек, какие роли, за что вы отвечали от начала до конца. Формулировка вида «делал витрину и валидацию, модель собирали вдвоём с коллегой» звучит убедительнее, чем «мы построили скоринг».
Дальше говорите деталями цикла, они показывают опыт лучше численности:
- постановка задачи: определение целевой переменной, окно наблюдения и окно исхода;
- витрина: сбор признаков без утечки будущего, фиксация версии данных;
- валидация: разделение по времени, а не случайное, оценка на отложенном периоде;
- метрики: Gini или ROC AUC для ранжирования, калибровка вероятности отдельно, порог отсечения по бизнес-эффекту, а не по метрике качества;
- вывод и жизнь модели: воспроизводимость, мониторинг дрейфа и стабильности распределений, пересборка по расписанию.
Если задача связана с решениями по клиентам, добавьте про интерпретируемость: скоринговые карты на весах доказательств, объяснимость отказа, фиксация правил. Маленькая команда не минус, если вы честно скажете, что делали в одиночку и где привлекали людей.
Где спотыкаются
Подставляют шаблон с эффектными числами: команда из пяти человек, точность выросла на двадцать процентов. Вопрос про то, какая это метрика, на какой выборке и с чем сравнивали, показывает, что число взято из воздуха.
Присваивают результат команды. Опасно вдвойне: следующий вопрос обычно технический и про соседний участок, и выясняется, что про источник данных или про вывод в прод рассказать нечего.
Называют численность и замолкают. Ответ становится полезным, когда из него видно взаимодействие: кто ставил задачу, кто владел данными, как модель попадала в прод и кто следил за ней потом.