Какой масштаб данных в базе и кликстриме
Что проверяют
Работали ли вы с данными, объём которых меняет инженерные решения, и помните ли свои цифры. Интервьюеру важно не «много», а порядок величин и что из него следовало. Следом спрашивают, где это хранилось, чем обрабатывалось и что было узким местом. Этот же вопрос полезно задать работодателю: по ответу видно, какие задачи вас ждут.
Как отвечать
Отвечайте цифрами в сравнимых единицах и разделяйте две сущности:
- транзакционная база: число строк в крупнейших таблицах, общий объём, прирост в день. Например, «PostgreSQL на 2 ТБ, самая большая таблица 800 млн строк, в аналитику уходит через CDC»;
- кликстрим: события в секунду в среднем и в пик, объём в день, срок хранения. Сырые события обычно идут через Kafka и оседают в объектном хранилище в Parquet или в колоночной базе вроде ClickHouse;
- следствия: что пришлось сделать из-за объёма. Партиционирование по дате, инкрементальные загрузки вместо полной перезаливки, дедупликация событий, сэмплирование для исследований, Spark вместо pandas;
- узкое место: что ломалось первым. Поздние события, перекошенные ключи в джойнах, стоимость хранения, время пересчёта витрин.
Пример каркаса: «Около 50 млн событий в день, в пик 3 тыс. в секунду, 40 ГБ сжатого Parquet в сутки, храним год, витрины пересчитываем инкрементально в Airflow». Подставьте свои цифры. Если точных не помните, давайте порядок и прямо говорите, что это оценка.
Если больших объёмов у вас не было, так и скажите и покажите, что понимаете, где проходят границы: до десятков гигабайт хватает одной машины и pandas или Polars, дальше нужны распределённая обработка и продуманная схема хранения.
Где спотыкаются
Отвечают «большие данные, терабайты» без единиц и контекста. Непонятно, терабайт всего или в день, и такой ответ звучит как пересказ чужого проекта.
Путают объём хранения с нагрузкой. 10 ТБ за пять лет и 10 ТБ в сутки требуют совершенно разных решений.
Завышают цифры. Первый же вопрос о том, сколько стоил кластер или сколько шёл пересчёт витрины, вскрывает несостыковку.