Сколько пользователей в системе
Что проверяют
Уточните ли вы вопрос, прежде чем называть цифру, и понимаете ли, что число пользователей меняет для тестирования. Ответ одной цифрой не сообщает ничего, а ответ через уточнение показывает, что вы работали с реальной нагрузкой, а не только с формами на тестовом стенде.
Как отвечать
Сначала разведите метрики, их путают чаще всего:
- зарегистрированные, это размер таблицы и объём тестовых данных;
- активные за месяц и за день, это профиль реальной работы;
- одновременные, это конкурентность и блокировки;
- пик запросов в секунду, это то, что видит бэкенд.
Дальше называйте порядок величины и сразу говорите, что из него следовало для проверок. Это и есть ответ по существу: на каких объёмах ломались пагинация и поиск, хватало ли сгенерированных данных или нужен был обезличенный слепок продакшена, какие сценарии проверялись на одновременное редактирование, какие стояли таймауты и лимиты.
Полезно добавить срез не по количеству, а по разнообразию: роли и права, тарифы, регионы и часовые пояса, доля мобильных браузеров. Для тест-дизайна это важнее общей цифры, потому что именно отсюда берутся классы эквивалентности и приоритеты регресса.
Если точного числа вы не знаете, так и скажите, но назовите то, что знали: размер основных таблиц, пик в мониторинге, сколько заявок приходило в сутки.
Где спотыкаются
Называют большое число без метрики. «Миллион пользователей» на уточняющий вопрос про одновременных превращается в несколько сотен, и доверие к остальным цифрам падает.
Придумывают числа и нагрузку, которых не измеряли. Сочинённые «десять тысяч зарегистрированных, три тысячи активных» выдаёт то, что за ними не стоит ни одного решения: спросят, что вы с этими цифрами сделали, и ответа нет.
Не связывают масштаб с тестированием вовсе. Число пользователей интересно ровно постольку, поскольку оно поменяло проверки: объём генерируемых данных, уникальность логинов и почты, поведение списков на больших выборках, нагрузочные сценарии перед релизом.