Куда обращаться при тестировании старого функционала: в техническую документацию или тест-кейсы
Что проверяют
Понимаете ли вы, что у документации и тест-кейсов разные роли и что оба источника устаревают. Интервьюеру важно, как вы поступите при расхождении. Следующий вопрос обычно такой: документация говорит одно, тест-кейс другое, а продукт делает третье, что вы сделаете?
Как отвечать
Правильный ответ не «одно из двух», а порядок работы:
- требования и документация: это оракул, источник ожидаемого поведения. Спецификация, пользовательские истории, описание API в Swagger или OpenAPI отвечают на вопрос «как должно работать»;
- тест-кейсы: готовые проверки из регрессионного набора в TestRail, Qase или Allure TestOps. Они экономят время и показывают, что уже проверялось, но сами по себе не доказывают, что ожидаемый результат в них верный;
- история изменений: задачи в Jira, релиз-ноуты, коммиты. Старый функционал часто меняют точечно, и тест-кейс мог не успеть за изменением.
Для регресса старого функционала разумно начать с тест-кейсов, это быстрее. Но перед прогоном сверить их с актуальными требованиями и списком изменений за последние релизы, то есть сделать анализ влияния. Если нашлось расхождение, не выбирать правду самому, а идти к аналитику или продакт-менеджеру и фиксировать решение. После этого обновить тест-кейс или документацию, чтобы следующий тестировщик не наступил туда же.
Если нет ни того, ни другого, скажите и про это: исследовательское тестирование, текущее поведение на проде как отправная точка, код автотестов, логи, разговор с разработчиками и поддержкой. Итог такой работы стоит оформить хотя бы в чек-лист.
Где спотыкаются
Выбирают один источник и считают его истиной в последней инстанции. Тест-кейс трёхлетней давности, который проходит зелёным, может проверять поведение, которое давно убрали.
Принимают текущее поведение продукта за эталон, потому что «всегда так работало». Старый баг, к которому все привыкли, от этого не становится требованием.
Находят расхождение, заводят баг или обходят его и не обновляют артефакты. В следующем релизе та же путаница повторяется у коллеги.