Как организовать работу при падении тестов в пятницу вечером
Что проверяют
Как вы действуете под давлением: умеете ли быстро отделить настоящий дефект от нестабильного теста или сломанного стенда и принять решение о релизе вместе с командой, а не в одиночку. Следом обычно спрашивают, что вы сделаете, чтобы в следующую пятницу это не повторилось.
Как отвечать
Опишите порядок действий, лучше на своём реальном случае:
- сортировка: какие тесты упали, с какого прогона, что изменилось с последнего зелёного: коммиты, зависимости, тестовые данные, окружение;
- классификация: дефект продукта, ошибка в самом тесте или проблема стенда. Один перезапуск помогает выявить нестабильные тесты, но гонять прогон до зелёного нельзя;
- артефакты: логи, скриншоты, трассировки (trace viewer в Playwright, отчёт Allure), по ним заводится задача, а не сообщение «всё упало»;
- влияние на релиз: если падает критичный сценарий вроде оплаты или входа, это аргумент против выкладки. Решение принимает ответственный за релиз, а вы приносите факты;
- коммуникация: короткое сообщение в канал команды: что упало, что известно, что блокирует, кто разбирается и когда следующий апдейт.
Сильный ответ часто звучит так: в пятницу вечером мы не выкатываем, а стабилизируем. Нестабильные тесты уходят в карантин с задачей и владельцем, а не удаляются. Если есть дежурство, дальше работает дежурный.
В понедельник разбор: почему проблемы всплыли так поздно. Типичные меры: прогон тестов на каждом пулл-реквесте, заморозка слияний перед релизом, учёт доли нестабильных тестов.
Если опыт был, дайте свои цифры: сколько тестов упало и сколько из них оказались настоящими дефектами. Если не было, так и скажите и изложите этот план как свой подход, объяснив порядок шагов.
Где спотыкаются
Сразу чинят тесты, не выяснив причину. Заметная доля пятничных падений это окружение или данные, и правка теста только маскирует проблему.
Перезапускают прогон, пока не станет зелёным, и выпускают релиз. Дефект, который проявляется через раз, уезжает в продакшен.
Рассказывают, как героически всей командой просидели до ночи. Интервьюер ищет процесс, в котором этого не требуется.