Сколько кейсов участвовало в регрессионном тестировании
Что проверяют
Цифра сама по себе интервьюеру не важна. По ней проверяют, участвовали ли вы в регрессе на самом деле: человек, который его планировал и проходил, сразу называет объём, длительность и принцип отбора. Следом почти всегда спрашивают, сколько времени занимал прогон и как выбирали кейсы, когда времени не хватало.
Как отвечать
Назовите свою цифру и сразу дайте к ней контекст:
- объём: сколько кейсов в полном регрессе и сколько в сокращённом наборе (смоук или критический путь). Честная цифра вашего проекта лучше «среднего по рынку»: у одного продукта полный регресс это 200 кейсов, у другого 2000;
- состав: сколько из них ручные, сколько покрыто автотестами и на чём (Selenium, Playwright, Appium);
- время и люди: сколько дней занимал прогон, сколько тестировщиков, на каких браузерах или устройствах;
- отбор: приоритет кейса, модули, затронутые релизом (анализ влияния вместе с разработчиками), история дефектов, самые денежные сценарии вроде оплаты и регистрации;
- где живут кейсы: TestRail, Qase, Allure TestOps, Zephyr в Jira. Там же тест-раны, по которым объём и считается;
- поддержка набора: кто и когда чистит устаревшие кейсы, что переводили в автотесты.
Формулировка может звучать так: «полный регресс веб-версии около шестисот кейсов, треть в автотестах, ручная часть занимала два дня у троих; перед хотфиксом гоняли смоук на восемьдесят кейсов». Это пример формы, цифры подставьте свои. Если точно не помните, назовите порядок и объясните, откуда он. Если регресс планировали не вы, скажите, какую его часть проходили сами.
Где спотыкаются
Называют число наугад или берут из шаблона. Следующий вопрос про длительность прогона обычно его разоблачает: тысячу ручных кейсов один человек за день не пройдёт.
Гордятся большим числом. Регресс на три тысячи кейсов, который никто не чистит, это проблема процесса, а не достижение. Сильнее звучит рассказ о том, как набор сократили без потери покрытия.
Смешивают регресс, смоук и ретест. Ретест проверяет исправление конкретного бага, смоук быстро проверяет, что сборка вообще живая, а регресс ищет, что сломалось в том, что раньше работало.