Тестируете ли вы реализованное решение?
Что проверяют
Доводите ли вы задачу до результата или отдаёте требования и забываете о них. Для аналитика это вопрос про приёмку: не подменяете ли вы собой QA и проверяете ли, что сделано именно то, что описано, и что исходная проблема решена.
Как отвечать
Да, но своей частью работы, и границу проговорите сразу: QA отвечает за то, что система работает без дефектов, аналитик за то, что сделана правильная вещь.
По шагам:
- критерии приёмки пишутся вместе с требованиями, до разработки. Если проверить формулировку нечем, это ещё не требование;
- на демо и на тестовом стенде проходите основной сценарий сами, глазами пользователя, вместе с крайними случаями, которые описывали: пустые данные, отказ внешнего сервиса, права разных ролей;
- сверяете данные, а не только экран: что записалось в базу, что ушло в интеграцию, что попало в отчёт. Расхождения форматов и часовых поясов видны только здесь;
- проверяете, что события для аналитики размечены и метрика, ради которой всё делалось, считается. Иначе через месяц нечем будет показать эффект;
- после релиза смотрите на живые данные и обращения поддержки, а не закрываете задачу по факту выкатки.
Сильная концовка это описание процесса, а не рассказ о подвиге: требование без критерия приёмки вы просто не отдаёте в работу.
Где спотыкаются
Приносят историю по STAR с круглым процентом вроде роста удовлетворённости на треть. У аналитика обычно есть доступ к проверяемым числам, и подмена их красивой цифрой без методики считается приукрашиванием.
Второе: подменяют приёмку регрессом и начинают перечислять нагрузочное тестирование и автоматизацию. Это чужая зона ответственности, и ответ выглядит как попытка казаться шире своего опыта.
Третье: проверяют только счастливый путь. Как раз те сценарии, которые аналитик описал в разделе про исключения, реализуют реже всего, потому что они дороже, и заметить это может только он сам.