Какие техники тестирования кроме pairwise использовать

Что проверяют

Понимаете ли вы, что pairwise решает одну задачу, комбинаторный взрыв параметров, и что без других техник он не работает. Следом часто спрашивают, откуда брать значения для pairwise и что делать, если ошибка возникает на сочетании трёх параметров.

Как отвечать

Покажите, какие техники стоят до, рядом и вместо pairwise:

• классы эквивалентности и граничные значения: готовят вход. Pairwise по сырым значениям бессмыслен, сначала каждый параметр сводится к представителям классов и границам;
• таблица решений и граф причин и следствий: когда важны конкретные сочетания условий из бизнес-правила. Pairwise гарантирует только пары, и нужная тройка может выпасть;
• n-wise: если риск на сочетаниях трёх параметров высок, в PICT поднимают порядок комбинаций опцией /o:3. Тестов станет больше, но всё равно меньше, чем при полном переборе;
• ортогональные массивы и дерево классификации: близкие по смыслу методы, дерево ещё и наглядно показывает параметры и их значения;
• переходы состояний: pairwise не видит последовательность действий, а ошибки часто прячутся в порядке шагов;
• сценарии использования, исследовательское тестирование, предугадывание ошибок: закрывают то, что формальные техники пропускают.

Упомяните ограничения: в PICT их задают правилами вида IF [OS] = "Windows" THEN [Browser] <> "Safari";, иначе генератор выдаст несуществующие сочетания.

Где спотыкаются

Считают pairwise гарантией полноты. Он ловит дефекты на парах, а сочетание трёх и более параметров может остаться непроверенным.

Скармливают генератору значения без анализа и получают сотни кейсов, половина из которых проверяет одно и то же.

Придумывают техники. Проверка первого и последнего элемента списка это частный случай граничных значений, а не отдельный метод, и выдавать его за технику с английским названием не стоит.