На каком scope тестов создавалась новая база и сколько было тестов
Что проверяют
Понимаете ли вы, что scope тут это граница жизни тестовых данных: база на каждый тест, на набор или на весь прогон. И называете ли вы числа, которые можно проверить, вместо круглых цифр из головы.
Как отвечать
Назовите выбранный уровень изоляции и его цену. Новая база на каждый тест даёт полную независимость и самый долгий прогон. База на набор плюс откат транзакции или очистка таблиц после каждого теста это обычный компромисс. Одна база на весь прогон годится только для читающих проверок.
Дальше расскажите, как она собиралась: схему накатывают теми же миграциями, что уходят в прод, данные готовят фабриками и фикстурами под конкретный сценарий, а не копией боевой базы, в которой ещё и персональные данные. Отдельно скажите про параллельный запуск: своя схема или своя база на каждый воркер, иначе тесты начинают мешать друг другу.
Числа берите из отчёта прогона: сколько тестов в наборе, сколько из них требуют базы, сколько идёт прогон, какая доля нестабильных. Точной цифры не помните, называйте порядок и прямо говорите, что это оценка.
Где спотыкаются
Отвечают круглыми числами по типам тестов. Такие цифры ничем не подтверждаются, и первый же вопрос про время прогона или про долю падающих тестов рушит рассказ.
Путают очистку данных с пересозданием базы. Очистка быстрее, но забытая последовательность, справочник или кэш приложения оставляют хвост, и тест падает только при определённом порядке запуска.
Готовят схему отдельным скриптом, похожим на прод. Тесты зеленеют на схеме, которой нигде нет, а расхождение всплывает на релизе, когда настоящая миграция не применяется.