Что можно протестировать только на реальном устройстве, а что нельзя проверить на симуляторе и эмуляторе
Что проверяют
Понимаете ли вы, чем симулятор отличается от эмулятора, и умеете ли распределить проверки по стендам. Хороший ответ показывает не список железа, а способ экономить: что гоняем массово и дёшево, а что обязано попасть на живое устройство.
Как отвечать
Начать с разницы. Симулятор iOS запускает сборку под архитектуру компьютера и подменяет системные фреймворки, то есть рантайм там другой. Эмулятор Android виртуализирует устройство целиком, поэтому ближе к настоящему, но железа всё равно нет.
Только на реальном устройстве проверяются:
- датчики и периферия: камера и качество снимков, NFC и оплата, Bluetooth, реальный GPS и точность в движении;
- биометрия и аппаратное хранилище ключей;
- пуш-уведомления с настоящим токеном, переходы по ссылкам из мессенджеров, поведение в шторке;
- производительность, нагрев, расход батареи и трафика, работа при слабом сигнале и при переключении сетей;
- выгрузка приложения системой при нехватке памяти, поведение на бюджетном железе;
- оболочки производителей с их ограничениями фоновой работы, вырезы экрана и жесты;
- покупки в приложении и обновление поверх предыдущей версии.
На эмуляторе и симуляторе дёшево гонять логику, вёрстку под разные размеры и локали, регресс и отладку ранних сборок.
Где спотыкаются
Меряют скорость запуска и плавность на симуляторе. Там работают ресурсы компьютера, цифры получаются лучше реальных, и проблему видит уже пользователь на трёхлетнем телефоне.
Заявляют, что сетевые условия на эмуляторе не проверить вовсе. Эмулятор Android умеет ограничивать скорость и добавлять задержку, прокси и подмена ответов работают везде. Не воспроизводятся именно переключение сетей в движении, роуминг и потеря сигнала.
Требуют весь регресс на живых устройствах. Ферма дорога, медленна и постоянно занята. Рабочая схема обратная: основная масса проверок на эмуляторах, отдельный набор критичных сценариев на двух или трёх реальных моделях, выбранных по статистике пользователей, и облачная ферма для редких конфигураций.