Какие критерии оценки качества релиза
Что проверяют
Умеете ли вы сформулировать критерии выхода (exit criteria) так, чтобы решение «выпускаем или нет» принималось по фактам, а не по ощущениям. Следом часто спрашивают, что делать, если критерий не выполнен, а релиз нужен завтра.
Как отвечать
Разделите критерии на те, что проверяются до выкладки, и те, что смотрят после.
До релиза:
- открытые дефекты: нет незакрытых блокеров и критических, по мажорным есть решение с обоснованием и владельцем. Порог по severity согласован заранее;
- прохождение тестов: регресс и смоук зелёные, по новым фичам пройдены запланированные сценарии. Упавший тест либо починен, либо осознанно записан в известные проблемы;
- покрытие требований: каждая пользовательская история связана с проверками, это видно в TMS вроде TestIT или Allure TestOps;
- нефункциональные проверки: нагрузка не хуже прошлой версии по p95 времени ответа, сканеры безопасности без критичных находок;
- совместимость: целевые браузеры и версии ОС, миграции данных, обратная совместимость API.
После релиза:
- утечка дефектов: сколько багов нашли пользователи против найденных до релиза, метрика DDP;
- стабильность: доля сессий без крэшей для мобильных приложений, доля ответов 5xx, сработавшие алерты;
- change failure rate и время восстановления: метрики DORA, сколько релизов потребовали отката или хотфикса;
- обращения в поддержку по новой функциональности.
Сильный ответ показывает, что критерии записаны в тест-плане до начала тестирования, а финальное решение принимает владелец продукта. QA даёт ему картину рисков, а не единоличное «да» или «нет».
Где спотыкаются
Отвечают «багов нет». Так не бывает, критерий звучит как «нет дефектов выше согласованного уровня серьёзности».
Называют только процент покрытия кода. Высокое покрытие не гарантирует, что проверены нужные сценарии, и ничего не говорит про нагрузку и безопасность.
Забывают про метрики после выкладки. Качество релиза окончательно видно по проду: откатам, хотфиксам и багам от пользователей. Без этой обратной связи критерии не улучшаются от релиза к релизу.