Сколько времени тратится на поддержку UI автотестов
Что проверяют
Понимаете ли вы, что автотест стоит денег не один раз при написании, а постоянно. Спрашивают про часы, а слушают, отличаете ли вы падение из-за дефекта продукта от падения из-за самого теста и что делаете с нестабильностью.
Как отвечать
Скажите, что поддержка это не задача в бэклоге, а постоянная доля времени, и разложите, из чего она складывается:
- разбор упавших прогонов: главная статья расходов, потому что каждое падение нужно отнести к дефекту продукта, устаревшему тесту или нестабильности;
- правка тестов после изменений интерфейса: сменившаяся вёрстка, новый шаг в сценарии, переехавший элемент;
- тестовые данные и окружение: протухшие учётные записи, упавшая заглушка, занятый стенд.
Дальше про то, чем эта доля снижается. Стабильные атрибуты для поиска элементов, проставленные разработчиками специально для тестов, а не привязка к вёрстке и тексту. Ожидание состояния вместо пауз. Подготовка данных через API, а не кликами. Слой вроде Page Object, чтобы правка одного экрана была правкой одного файла. Карантин для нестабильных тестов, чтобы красный прогон снова что-то значил. И разумная пирамида: то, что проверяется на уровне API или модульно, не стоит проверять через интерфейс.
Назовите и метрики, по которым вы это видите: доля прогонов без падений, сколько падений оказались настоящими дефектами, сколько проходит от красного прогона до разбора.
Где спотыкаются
Называют универсальное число часов в неделю. Без частоты изменений интерфейса, размера набора и того, кто разбирает падения, оно ничего не значит и сразу тянет уточняющий вопрос, на который нечего ответить.
Второе: лечат нестабильность повторным запуском и паузами. Прогон становится длиннее, реальные плавающие дефекты прячутся, а доверие к набору падает, потому что зелёный результат теперь достигается с третьей попытки.
Третье: держат на интерфейсе всё подряд, включая проверки бизнес-логики и валидаций. Такой набор ломается от любой правки вёрстки, и разговор про поддержку сводится к бесконечной починке, хотя половина проверок должна была уехать уровнем ниже.