Какие предложения по взаимодействию команды для предотвращения падения тестов и задержек
Что проверяют
Видите ли вы в падающих тестах процессную проблему, а не только техническую, и можете ли предложить конкретные договорённости вместо «больше общаться». Следом часто спрашивают, что вы делали с флаки-тестами на прошлом месте и как добивались, чтобы упавшие тесты чинили.
Как отвечать
Сначала разделите причины: тест падает из-за бага, из-за изменения требований, о котором QA не знал, из-за нестабильного окружения или из-за самого теста. Под каждую своя договорённость:
- QA в планировании: тестировщик участвует в разборе задачи до разработки, критерии приёмки согласуются заранее. Изменение поведения перестаёт быть сюрпризом;
- тесты в том же PR: правка API или вёрстки идёт вместе с правкой автотестов. Для UI договоритесь с фронтендом о стабильных локаторах вроде
data-testid; - красная сборка не вливается: тесты гоняются в CI на каждый PR, кто сломал, тот и чинит, а не QA через неделю;
- карантин для флаки: нестабильный тест выносится из блокирующего набора, на него заводится задача с владельцем и сроком. Ретрай допустим как временная мера;
- окружения и данные: свои тестовые данные на каждый прогон, стенды в контейнерах, контрактные тесты между сервисами, чтобы правку соседней команды ловить до интеграции;
- метрики: доля флаки, время от падения до починки, длительность прогона. Их разбирают на ретро, а не ищут по ним виноватых.
Опирайтесь на свой опыт: один или два примера, что было и что изменилось после, с реальными цифрами. Если сами такого не внедряли, честно скажите, что видели проблему со стороны, и опишите, с чего начали бы.
Где спотыкаются
Отвечают общими словами про стендапы и прозрачность. Без конкретного правила вроде «красная сборка не вливается» это звучит как пожелание.
Предлагают считать баги на человека и делать из этого KPI. Это стравливает разработку и QA и работает против цели вопроса.
Лечат флаки-тесты ретраями и увеличенными таймаутами. Проблема прячется, доверие к набору падает, и красные прогоны начинают игнорировать.