Что интереснее: настройка процессов автоматизации с нуля?
Что проверяют
Понимаете ли вы, из чего состоит автоматизация кроме написания тестов, и трезво ли оцениваете старт с чистого листа. По ответу видно, вели ли вы этот процесс сами или присоединялись к готовому каркасу.
Как отвечать
Скажите, что интересного в старте с нуля: можно выбрать уровень проверок и инфраструктуру под продукт, а не подпирать чужие решения. И сразу покажите порядок действий:
- разобраться, что ломается чаще всего и что дороже стоит бизнесу, начинать оттуда;
- выбрать уровень: проверки на уровне API и сервисов дешевле и стабильнее сквозных сценариев в браузере, через интерфейс оставляют то, что иначе не проверить;
- завести запуск в сборке с первого дня, даже ради двух тестов: набор, который гоняют вручную, умирает за месяц;
- решить вопрос тестовых данных и окружения: откуда берётся состояние, как оно чистится, как параллельные прогоны не мешают друг другу;
- сделать отчёт, который читают, и договориться о правиле реакции на красный прогон.
Критерий успеха называйте измеримый: время прогона, доля нестабильных тестов, регрессии, пойманные до релиза. Количество тестов и процент покрытия сами по себе не говорят ни о чём.
Где спотыкаются
Отвечают списком инструментов. Выбор библиотеки это работа на полдня, а разваливается всё на данных, окружении и поддержке, и спрашивать дальше будут именно про это.
Второе: обещают автоматизировать всё и закрыть регресс целиком. Опытный собеседник слышит в таком обещании будущий набор красных тестов, которые через полгода отключат.
Третье: рассказывают про запуск и ни слова про жизнь после. С нуля интересно всем, а ценность появляется, когда набор переживает переезд интерфейса, смену версий библиотек и уход автора из команды.