Что такое статус теста
Что проверяют
Понимаете ли вы, что статус это не подпись в отчёте, а сигнал, по которому команда решает: выпускать, чинить или перепроверять. Заодно смотрят, различаете ли вы состояние тест-кейса, результат его прогона и жизненный цикл дефекта.
Как отвечать
Статус теста это результат конкретного запуска тест-кейса на конкретной сборке. Базовый набор: не выполнен, выполняется, пройден, не пройден, заблокирован, пропущен, требует перепроверки. Заблокирован и пропущен означают разное: в первом случае выполнить нельзя, стенд лежит или зависимость не готова, во втором проверку сознательно не запускали, она нерелевантна для платформы или отключена по метке.
В автотестах набор другой, и различие там важнее: провал по несработавшему утверждению говорит о продукте, а ошибка в подготовке или в самом тестовом коде говорит о тесте и стенде. Фреймворки разделяют эти исходы, и отчёт, где всё свалено в общее «упало», для разбора бесполезен.
Сильный ответ добавляет, зачем это считают. Доля незапущенных и заблокированных показывает, какая часть функциональности на самом деле не проверялась, хотя сводка выглядит зелёной. И любая метрика по статусам имеет смысл только с указанием сборки и окружения.
Где спотыкаются
Сваливают заблокированные и пропущенные в одну кучу. Картина в отчёте выравнивается, а на деле часть функциональности не проверял никто, и решение о выпуске принимается по неполным данным.
Путают статус теста со статусом дефекта. Не пройден это состояние проверки, а открыт, в работе, исправлен и закрыт это состояния бага. Один тест падает из-за нескольких дефектов, один дефект роняет десятки тестов, связь тут не один к одному.
Закрывают красное перезапуском. Тест гоняют ещё раз, он проходит, статус переписывают на пройден и идут дальше. Плавающий тест это либо гонка в продукте, либо ненадёжная проверка, и оба случая требуют разбора, а не смены подписи.