Используете ли вы автотесты в релизе
Что проверяют
Хотят понять, какое место автотесты реально занимают в вашем релизном процессе: блокируют ли выкладку или живут отдельно от неё. Следом обычно спрашивают, что вы делаете с нестабильными тестами и что при этом остаётся на ручной проверке.
Как отвечать
Это вопрос про ваш опыт, поэтому опирайтесь на свой проект и свои цифры. Удобный каркас:
- где запускаются: смоук на каждый merge request, полная регрессия ночью или перед релизной веткой, короткий смоук после выкладки на прод. Назовите CI (GitLab CI, Jenkins, GitHub Actions) и стек: pytest или JUnit 5, Playwright или Selenium для веба, Appium для мобильных, REST Assured или requests для API;
- что блокирует релиз: какие наборы работают как quality gate, а какие информационные. Скажите прямо, кто принимает решение, если регрессия красная;
- сколько и как долго: примерное число тестов, время прогона и как его сокращали, например параллельным запуском;
- нестабильные тесты: как отличаете баг от флака, есть ли карантин, ограничен ли перезапуск одной попыткой, кто чинит;
- что не автоматизировано: новая функциональность в первом релизе, исследовательское тестирование, вёрстка на реальных устройствах. Это нормально, и лучше сказать об этом самим;
- отчёты: Allure или встроенные отчёты CI, куда уходит уведомление о падении.
Если автотестов в релизе у вас не было, не придумывайте. Расскажите, как проходил ручной релиз, и опишите, с чего начали бы: смоук по критичным сценариям (вход, оплата, основной поток), запуск в CI на каждую сборку, затем подключение его как обязательного шага. Это показывает понимание, а не заученную формулировку.
Где спотыкаются
Отвечают общими словами «автотесты повышают качество и ускоряют релиз». Интервьюер ждёт, что именно запускается и когда, а не пересказ преимуществ автоматизации.
Называют круглые проценты покрытия и ускорения, которые не могут объяснить. Первый же вопрос «как считали?» подрывает доверие ко всему ответу.
Не знают, что происходит, когда тест упал за час до релиза. Если красную регрессию обычно игнорируют, автотесты в релизе не участвуют, сколько бы их ни было.