Как понять, что тестирование завершено и релиз готов к выпуску
Что проверяют
Знаете ли вы, что готовность релиза определяется заранее оговорёнными критериями, а решение о выпуске принимает команда на основе ваших данных. Следом часто спрашивают, что вы сделаете, если дедлайн наступил, а критерии не выполнены.
Как отвечать
Покажите, что критерии выхода появляются до начала тестирования, в тест-плане или чек-листе релиза, а не в последний день. Типичный набор:
- регресс: смоук на релизной сборке прошёл, регресс по затронутым областям и критичным пользовательским сценариям выполнен. Объём регресса выбирается по рискам, а не «прогоняем всё всегда»;
- новая функциональность: все критерии приёмки задач релиза проверены, включая негативные сценарии;
- дефекты: нет открытых блокирующих и критичных, по остальным с продактом принято решение: чинить сейчас, переносить или выпускать с известной проблемой. Известные проблемы попадают в release notes и в сведения для поддержки;
- окружение: тестирование шло на стенде, близком к проду по конфигурации и данным, миграции базы прогнаны;
- нефункциональные проверки, если они есть в требованиях: производительность, безопасность, совместимость с браузерами и устройствами;
- план на случай проблем: понятно, как откатиться или выключить фичу флагом, и кто следит за мониторингом в первые часы после выкладки.
Формально это заканчивается встречей go/no-go или подписью ответственного. Роль тестировщика там: показать картину качества и остаточные риски, а решение принимает владелец продукта.
Если критерии не выполнены к дедлайну, не молчите и не подписывайтесь, а назовите риски явно и предложите варианты: сузить релиз, выпустить под флагом, перенести.
Где спотыкаются
Называют конкретный процент покрытия универсальным порогом. Нужная цифра зависит от продукта и рисков и сама по себе ничего не говорит о качестве.
Говорят, что тестирование завершено, когда все баги исправлены. Релизы почти всегда выходят с известными некритичными дефектами, важно, чтобы их приняли осознанно.
Берут решение о выпуске на себя. Тестировщик даёт информацию, а ответственность за выпуск разделяет команда.