Сколько автотестов было написано для регрессии
Что проверяют
Масштаб вашего опыта и отношение к количеству как к метрике. Хороший ответ содержит число, но не заканчивается на нём: дальше ждут, что вы сами переведёте разговор на время прогона, стабильность и пользу набора.
Как отвечать
Назовите порядок и сразу разложите по уровням: сколько проверок на уровне интерфейса, сколько на уровне API, что закрыто модульными тестами разработчиков. Соотношение важнее суммы: основную массу регрессии дешевле держать на API, а сквозные сценарии через интерфейс оставлять для критичных путей вроде оформления заказа.
Дальше числа, которые действительно спросят следующими:
- сколько идёт полный прогон, что запускается на каждое изменение, а что ночью;
- какая доля регрессии автоматизирована и что сознательно осталось ручным;
- доля нестабильных тестов и что с ними делают, от карантина до починки ожиданий;
- сколько дефектов набор поймал до релиза.
Скажите про инструменты своими словами: на чём написано, как готовятся данные, где смотрите отчёты, как это встроено в конвейер сборки. И обозначьте свою роль честно: сколько написали вы, что досталось в наследство, что переписали.
Где спотыкаются
Гордятся голым числом. Набор из многих сотен интерфейсных тестов, который идёт всю ночь и падает через раз, слабее полутора сотен быстрых проверок на API, которые гоняются на каждое изменение и которым верят.
Второе: не помнят времени прогона и доли ложных падений. Это первые уточняющие вопросы, и незнание их выдаёт человека, который тесты писал, но за набором не следил.
Третье: присваивают себе работу команды. Достаточно одного вопроса про конкретный сценарий, про подготовку данных или про то, почему тест нестабилен, чтобы стало видно, кто на самом деле его писал.