Что еще нужно учитывать при подборе устройств для тестирования кроме оболочек, версий ОС, разрешений и размеров экранов
Что проверяют
Умеете ли вы обосновывать матрицу устройств данными, а не привычкой. Очевидные критерии кандидат уже назвал, поэтому ждут второй эшелон: аналитику продукта, железо, окружение, а также понимание, что матрица это компромисс между покрытием и бюджетом.
Как отвечать
Начните с главного критерия: доли устройств, версий системы и разрешений в аналитике вашего продукта и в статистике магазинов приложений, причём смотреть стоит не только на трафик, но и на выручку. Дальше добавляйте:
- железо: чипсет, объём оперативной памяти, свободное место, троттлинг на долгих сценариях; дешёвый аппарат ловит дефекты производительности, которых на флагмане нет;
- версия движка отдельно от версии системы: на Android системный WebView и браузер обновляются сами по себе, и гибридные экраны ломаются именно там;
- форм-фактор помимо диагонали: вырез, скруглённые углы, безопасные зоны, складные экраны, разделённый экран, системный масштаб шрифта и тёмная тема;
- окружение: тип сети и потери пакетов, офлайн, режим энергосбережения, уход в фон и выгрузка процесса системой;
- региональные настройки: язык, часовой пояс, формат чисел и дат, модель выдачи разрешений;
- доступность: экранный диктор, крупный шрифт, повышенный контраст;
- баланс живых устройств и облачной фермы, плюс срок поддержки прошивки производителем.
Где спотыкаются
Собирают матрицу из флагманов и личных телефонов команды. Жалобы при этом приходят с бюджетных аппаратов на старой системе, которых в матрице нет, потому что покупали по принципу «посвежее».
Полагаются на эмуляторы и ферму целиком. Часть сценариев там не воспроизводится: камера, биометрия, пуши, NFC, поведение при входящем звонке, агрессивная экономия батареи у отдельных производителей.
Составляют матрицу один раз. За год доли версий системы меняются, а купленное устройство продолжает проверять конфигурацию, которой у пользователей почти не осталось. Правило вывода устройства из матрицы стоит назвать сразу, оно отличает системный подход от списка на глаз.