Какие метрики эффективности QA существуют и для чего они используются
Что проверяют
Знаете ли вы метрики не как список терминов, а как инструмент для решений: что каждая показывает, кто на неё смотрит и как её легко исказить. Следом обычно спрашивают, какие метрики вы вели сами и какое решение по ним приняли.
Как отвечать
Удобно разложить метрики по вопросам, на которые они отвечают:
- Defect Leakage (утечка дефектов): доля багов, найденных после релиза, от всех найденных за период. Главный индикатор того, насколько тестирование ловит проблемы до пользователя;
- DRE (Defect Removal Efficiency): обратная сторона утечки, доля дефектов, пойманных до релиза;
- плотность дефектов: число дефектов на модуль или фичу. По ней видно, какие части продукта «горят» и куда нужна регрессия;
- покрытие требований: сколько требований или user story закрыто тест-кейсами. Покрытие кода (строки, ветки) это отдельная метрика, её снимают JaCoCo, Istanbul, coverage.py, и ведут её в основном разработчики;
- pass rate и стабильность автотестов: доля упавших тестов в прогоне и доля «флаки», которые падают без изменений в коде;
- время жизни дефекта: от заведения до исправления, отдельно по критичным;
- длительность регрессии и обратной связи: сколько идёт прогон перед релизом и сколько разработчик ждёт результата пайплайна.
Дальше скажите, зачем это всё: решение о готовности релиза, поиск узких мест, аргумент для руководства, где окупится автоматизация. Метрики смотрят в динамике и в связке, одна цифра сама по себе ничего не значит.
Где спотыкаются
Предлагают оценивать тестировщиков по числу заведённых багов. Это провоцирует дробить дефекты и заводить мелочь, а качество продукта от этого не растёт.
Считают 100% покрытия кода гарантией качества. Покрытие показывает, какие строки исполнились, а не то, что проверки в тестах осмысленные.
Перечисляют метрики без источника данных и без примера. Сильнее звучит ответ, где вы говорите: данные брали из Jira и TestRail (или Allure TestOps), строили дашборд, раз в спринт разбирали утёкшие в прод баги и дописывали по ним проверки.