Кто проводит разбор и анализ упавших автотестов и заводит дефекты
Что проверяют
Понимаете ли вы, что упавший автотест ещё не баг, и умеете ли отличить дефект продукта от проблемы теста или окружения. Интервьюеру важно, кто в вашей команде отвечал за разбор прогонов и как падение превращалось в дефект. Следом почти всегда спрашивают про нестабильные (flaky) тесты.
Как отвечать
Назовите, как было у вас: разбирает автор теста, владелец набора или дежурный QA по графику. Главное, чтобы у каждого ночного прогона был конкретный ответственный, иначе красный отчёт перестают открывать через неделю. Дальше опишите сам разбор:
- классификация падения: дефект продукта, ошибка в тесте (сменился локатор, устарели ожидания), окружение (стенд лежит, испортились тестовые данные), инфраструктура (не поднялся браузер, таймаут в CI);
- артефакты: логи теста и сервиса, скриншот, видео, трейс Playwright, запросы и ответы API, всё приложено к отчёту Allure;
- ручное воспроизведение: прежде чем заводить дефект, повторить сценарий руками или изолированно на том же билде;
- проверка дубликатов: поиск в трекере по компоненту и тексту ошибки;
- оформление дефекта: шаги, ожидаемый и фактический результат, версия билда, стенд, ссылка на прогон, логи, severity.
Про нестабильные тесты скажите отдельно: их помечают, временно выключают с обязательной задачей на починку и сроком, следят за долей перезапусков. Автоматический повтор в CI полезен, но только если отчёт показывает, что тест прошёл со второй попытки, а не прячет это.
Если разбором у вас занимались разработчики или отдельная команда автоматизации, так и скажите и объясните, какой была ваша часть.
Где спотыкаются
Перезапускают упавший тест, пока он не позеленеет, и считают вопрос закрытым. Так настоящий плавающий баг, например гонка при параллельных запросах, уходит в прод.
Заводят дефект прямо по стектрейсу автотеста, без ручного воспроизведения. Разработчик возвращает его с пометкой «не воспроизводится», и доверие к автотестам падает.
Отключают нестабильный тест навсегда без задачи на исправление. Через полгода половина набора в игноре, а покрытие существует только на бумаге.