Откуда известно количество данных
Что проверяют
Чаще всего это уточнение после фразы вроде «работал с большими объёмами». Хотят понять, откуда у вас цифра: считали сами, видели в мониторинге или назвали на глаз. Заодно смотрят, различаете ли вы число строк, объём на диске и размер обучающей выборки.
Как отвечать
Назовите способ измерения, а не только результат.
- в базе:
select count(*)по нужному срезу, размер таблицы вместе с индексами через служебные функции СУБД. Приблизительная оценка числа строк есть в статистике планировщика, она бесплатная и годится для порядка величины; - в файловом хранилище: суммарный размер партиций и число строк из метаданных колоночных файлов, сами данные для этого читать не нужно;
- в потоке: прирост за сутки по счётчикам брокера или по смещениям;
- в ноутбуке: форма датафрейма и занятая память, но только после того, как стало ясно, это вся история или выборка;
- из мониторинга: панель с объёмом хранилища и суточным приростом.
Дальше сразу разделите цифры: сколько сырых событий, сколько строк осталось после дедупликации и фильтров, сколько объектов в обучающей выборке и сколько признаков. Это разные числа, и для собеседования важнее последние: от них зависят выбор модели и способ обучения.
Где спотыкаются
Называют объём в гигабайтах как меру количества. В сжатом колоночном формате тот же набор занимает в разы меньше, поэтому без указания формата и периода число ничего не говорит.
Считают count(*) на огромной таблице в продуктовой базе. В жизни это тяжёлый запрос под нагрузкой, и знание про приблизительную оценку из статистики как раз отличает практика от читателя учебника.
Смешивают количество строк и количество наблюдений. Тысяча пользователей с историей по каждому это не тысяча независимых объектов, и оценка качества развалится, если разбивать такую выборку случайно, не по пользователю.