Занимался ли перебором архитектур в проекте

Что проверяют

Умеете ли вы выбирать модель по эксперименту, а не по моде, и организуете ли перебор так, чтобы результату можно было верить. Следом спрашивают, как сравнивали варианты, сколько это стоило по времени и GPU и почему остановились на выбранной архитектуре.

Как отвечать

Отвечайте на своём проекте, в структуре «задача, что перебирали, как сравнивали, что выбрали»:

• постановка: метрика, важная для бизнеса, и ограничения: задержка инференса, память, железо в проде;
• бейзлайн: простая модель, от которой считается прирост. Для табличных данных это градиентный бустинг (CatBoost, LightGBM), для текста небольшой предобученный энкодер, для изображений ResNet или EfficientNet;
• пространство перебора: семейства и размеры backbone, глубина и ширина, голова, иногда целиком разные подходы, например бустинг против нейросети. На практике чаще выбирают среди предобученных моделей, чем запускают полноценный NAS: он дорог и окупается редко;
• протокол: фиксированный сплит или кросс-валидация, одинаковая предобработка, несколько сидов, чтобы отличить прирост от шума;
• инструменты: Optuna с прунингом, Ray Tune с ASHA, sweeps в Weights & Biases, трекинг в MLflow. Ранняя остановка слабых запусков экономит большую часть бюджета;
• выбор: итог по качеству и по цене. Модель на полпункта лучше, но втрое медленнее, часто проигрывает.

Цифры берите свои: сколько конфигураций, какой прирост метрики, сколько GPU-часов. Выдуманные проценты вскрываются на первом уточняющем вопросе.

Если серьёзного перебора не было, скажите прямо и расскажите, что делали в меньшем масштабе: сравнение нескольких моделей на соревновании или пет-проекте, подбор гиперпараметров. Затем опишите, как построили бы перебор сейчас.

Где спотыкаются

Понимают вопрос как выбор между монолитом и микросервисами. На ML-собеседовании речь об архитектуре модели, а если сомневаетесь, уточните.

Сравнивают варианты по одному запуску и на той же выборке, по которой подбирали. Прирост оказывается шумом или утечкой.

Рассказывают только о лучшей метрике и молчат о задержке и стоимости, хотя именно они решают, пойдёт ли модель в прод.