Как были представлены данные: свишки или доступ к базе данных
Что проверяют
«Свишки» это сленговое название CSV-выгрузок. Вопрос о вашем реальном проекте: получали вы данные готовыми файлами или сами ходили в базу. По ответу интервьюер понимает, насколько вы самостоятельны в работе с данными и думали ли о свежести, воспроизводимости и утечках. Следом обычно спрашивают, как модель получала данные в продакшене.
Как отвечать
Нужен рассказ о своём проекте, с вашими объёмами и цифрами, а не теория. Удобный каркас:
- как было: откуда пришли данные (выгрузка от аналитиков или заказчика, read-only реплика, DWH на ClickHouse, Greenplum или Hive, feature store), какой объём, кто и как их готовил;
- почему так: у выгрузки есть плюс, это зафиксированный срез, на котором эксперимент воспроизводится. У прямого доступа свои плюсы: свежие данные и контроль над запросом;
- что вы делали с ограничениями: для CSV явно задавали типы в
pandas.read_csv(dtype,parse_dates), проверяли кодировку, разделитель, дубли, потерянные ведущие нули в идентификаторах, по возможности переводили в Parquet. Для базы ходили в реплику, а не в боевой мастер, и фиксировали срез по дате, чтобы обучение можно было повторить (DVC, снимок таблицы); - чему научились: что поменяли бы сейчас.
Важная тема для ML: срез должен соответствовать моменту предсказания. Выгрузка «по состоянию на сегодня» часто содержит признаки, которые стали известны позже целевого события, и модель показывает прекрасные метрики на валидации, а в проде проваливается.
Если данные вам всегда давали готовыми, скажите это прямо и покажите, что вы проверяли в них сами и какие вопросы задавали тем, кто выгружал.
Где спотыкаются
Отвечают теорией «базы лучше файлов», не сказав ни слова о своём проекте. На поведенческий вопрос это худший вариант.
Стесняются CSV и выдумывают эффекты вроде «переход на базу улучшил модель на 30%». Способ доступа сам по себе качество модели не меняет, и интервьюер это знает.
Не могут объяснить, как собрана выгрузка и на какую дату. Это прямой путь к утечке таргета, о которой спросят следующим вопросом.