Как оценить целесообразность внедрения автоматизации
Что проверяют
Умеете ли вы считать автоматизацию как вложение, а не как «модно и надо». Интервьюер хочет услышать критерии: что автоматизировать, что оставить ручным и как понять, что вложение окупилось. Следом часто спрашивают, с чего бы вы начали на проекте, где автотестов нет совсем.
Как отвечать
Сначала соберите цифры текущего процесса: сколько идёт ручная регрессия, как часто релизы, сколько багов уходит в прод.
Дальше простая модель окупаемости. Автотест стоит разработку один раз и поддержку при каждом изменении продукта, ручная проверка стоит время тестировщика на каждом прогоне. Если регрессия занимает три человеко-дня, а релиз раз в две недели, выгода набегает быстро. Если сценарий проверяют раз в квартал, а меняется он каждый спринт, автоматизация не окупится.
Критерии выбора кандидатов:
- частота: регрессия, смоук после каждого деплоя, проверки в CI на каждый merge request;
- стабильность: функциональность, которую не переделывают каждый спринт;
- объём данных: один сценарий на сотне комбинаций входов, вручную это долго и с ошибками;
- уровень: API и интеграционные тесты дешевле и стабильнее UI, по пирамиде тестирования большая часть проверок живёт ниже интерфейса;
- ресурсы: есть ли в команде люди, способные поддерживать фреймворк, и готов ли CI гонять тесты.
Не стоит автоматизировать исследовательское тестирование, проверку удобства, разовые проверки и экраны в активном редизайне.
Предложите пилот: смоук на API на две-три недели, после него решение по фактическим цифрам. Метрики успеха: время регрессии, доля ложных падений, дефекты, найденные автотестами. Если приводите пример из опыта, берите свои цифры; если внедрения не было, честно скажите и покажите, как посчитали бы на знакомом проекте.
Где спотыкаются
Считают только стоимость написания. Поддержка UI-тестов на меняющемся продукте за год легко обходится дороже их разработки.
Обещают полностью заменить ручное тестирование. Автотесты ловят регрессию по известным сценариям, новых багов в новой логике они не найдут.
Начинают с UI-тестов на весь продукт. Через пару месяцев набор становится медленным и нестабильным, и команда перестаёт ему верить.