Как выстроена работа с ручными кейсами на автоматизацию

Что проверяют

Есть ли в команде понятный процесс, а не «автоматизатор сам решает, что писать». Интервьюер хочет услышать, по каким критериям кейс уходит в автоматизацию, где это фиксируется и что происходит с ручным кейсом потом. Следом часто спрашивают, какие кейсы вы сознательно оставили ручными.

Как отвечать

Опишите процесс своей команды по шагам и дайте свои цифры: сколько кейсов в регрессе, какая доля автоматизирована, сколько времени занимал прогон до и после.

• отбор: в автоматизацию идут стабильные сценарии регресса и смоука, критичные пути, проверки с множеством наборов данных. Ручными остаются исследовательское тестирование, проверки UX и вёрстки, редкие и часто меняющиеся сценарии;
• статус в TMS: в TestIT, Qase, Allure TestOps или TestRail у кейса есть поле статуса автоматизации («к автоматизации», «автоматизирован», «не автоматизируется»). По нему строится бэклог автоматизаторов;
• подготовка кейса: перед передачей кейс приводят в порядок: атомарные шаги, явный ожидаемый результат, описанные тестовые данные и предусловия;
• выбор уровня: проверку логики переносят на API или компонентный уровень, в UI оставляют только сквозные сценарии, это и есть пирамида тестирования;
• связь и отчётность: автотест ссылается на ID кейса (например, через @AllureId или @TmsLink в Allure), и после мёржа кейс выводят из ручных прогонов.

Если такого процесса у вас не было, так и скажите, а затем опишите, как выстроили бы его сами. Это честнее и звучит сильнее, чем придуманная история с красивыми процентами.

Где спотыкаются

Называют критерием «сложность теста». Сложный и нестабильный сценарий в UI дорог в поддержке, и часто его выгоднее разбить на части или проверить на уровне API.

Автоматизируют кейс дословно, повторяя клики тестировщика шаг за шагом. Получается медленный хрупкий тест, хотя половину шагов можно заменить подготовкой данных через API.

Не отвечают на вопрос, что стало с ручным кейсом. Если он продолжает прогоняться вручную рядом с автотестом, выигрыша по времени нет.