Что такое отчет о тестировании
Что проверяют
Понимаете ли вы, что отчёт о тестировании пишется для принятия решения, а не для галочки, и умеете ли отделить его от баг-репорта. Следом обычно спрашивают, кто его читает и что вы напишете, если к релизу проверено не всё.
Как отвечать
Отчёт о тестировании это документ, который подводит итог проверки: что протестировано, в каком состоянии продукт и какие остаются риски. В ISTQB Foundation 4.0 различают два вида: отчёт о ходе тестирования (test progress report) выпускают регулярно, например раз в спринт или в день, а итоговый (test completion report) по завершении этапа или перед релизом. Форматы документов описаны в стандарте ISO/IEC/IEEE 29119-3.
Что в нём должно быть:
- объём и окружение: версия сборки, платформы и браузеры, стенд, что входило в проверку и что сознательно не проверяли;
- метрики выполнения: запланировано, выполнено, прошло, упало, заблокировано. Отдельно покрытие требований;
- дефекты: сколько найдено и исправлено, открытые с разбивкой по severity и priority, ссылки на критичные;
- отклонения и риски: что не успели и почему, какие зоны остались без проверки, известные проблемы, с которыми выходим;
- вывод и рекомендация: готов ли продукт к релизу по вашим критериям. Решение принимает продакт или релиз-менеджер, QA даёт обоснованную рекомендацию.
Первым пусть идёт вывод в два-три предложения: менеджер читает верх, разработчик переходит по ссылкам. На практике отчёт собирают в TestRail, Qase, Allure TestOps, Zephyr Scale или Test IT, а по автотестам его дополняет Allure Report. Сырой отчёт прогона автотестов при этом ещё не отчёт о тестировании: в нём нет выводов.
Приведите пример из своего опыта: как выглядел ваш отчёт и кто по нему принимал решение.
Где спотыкаются
Путают отчёт о тестировании с баг-репортом. Баг-репорт описывает один дефект, отчёт описывает состояние всего продукта.
Дают голые цифры без вывода: «прошло 95% тестов». Если выполнено 40% запланированного, этот процент ничего не говорит о готовности.
Скрывают непроверенные зоны, чтобы отчёт выглядел лучше. Когда баг вылезет на проде именно там, доверие к любым следующим отчётам пропадёт.