Как часто проходит регресс тестирование
Что проверяют
Понимаете ли вы, что частота задаётся уровнем автоматизации, и умеете ли выбирать объём.
Как отвечать
Ответ зависит от того, что автоматизировано, поэтому опишите уровни.
- на каждый пул-реквест: быстрый автоматический набор из юнитов, проверок API и дымового прохода. Минуты, иначе разработка встанет;
- ночью: полный автоматический набор, включая долгие сценарии интерфейса и совместимость;
- перед релизом: проверка выбранных областей вручную плюс полный автоматический прогон;
- раз в квартал или перед крупным релизом: полная ручная регрессия, если она вообще существует.
Как выбирать объём, потому что полный прогон всего почти никогда не помещается:
- по влиянию изменения: какие модули затронуты, включая общие компоненты и данные;
- по риску: критичные для бизнеса сценарии проверяются всегда, независимо от области правки;
- по истории дефектов: места, где ломалось раньше, ломаются снова.
Главная связь, которую стоит проговорить: частота релизов и частота регрессии связаны жёстко. При релизе раз в квартал можно позволить себе неделю ручной проверки. При ежедневных релизах ручная регрессия физически не помещается, и единственный выход это автоматический набор в конвейере плюс мониторинг после выкатки.
Про свой опыт отвечайте цифрами: сколько занимал полный прогон, какая доля автоматизирована, что делали, чтобы сократить время.
Как встречный вопрос он очень информативен. Ответ «полная ручная регрессия две недели перед каждым релизом» означает, что вас ждёт много рутины и мало времени на исследование.
Где спотыкаются
Называют частоту, не связывая её с автоматизацией и частотой релизов.
Гоняют полный набор всегда и не успевают к сроку.
Не приоритизируют кейсы и проверяют всё подряд равномерно.
Терпят нестабильные тесты, из-за чего прогон растягивается вдвое.