Какие недостатки текущего подхода к развертыванию
Что проверяют
Видите ли вы процесс шире своих тест-кейсов: как сборка попадает на стенд и в прод и где в этой цепочке теряется качество. Для QA это ещё и вопрос об инициативе: предлагали ли вы что-то менять. Следом обычно спрашивают, как бы вы встроили автотесты в этот процесс.
Как отвечать
Сначала коротко опишите, как устроено сейчас у вас на проекте: кто собирает, сколько стендов, как часто релизы, есть ли автоматические проверки перед выкладкой. Потом называйте недостатки через последствия для качества:
- ручная выкладка: шаги по инструкции, разный результат у разных людей, забытая переменная окружения. Отсюда многие дефекты «на стенде работает, в проде нет»;
- общий тестовый стенд: несколько команд выкатывают свои ветки на один стенд, тестирование блокируется, а баг непонятно чей;
- дрейф конфигурации: стенд отличается от прода версиями, настройками и данными, поэтому часть дефектов проявляется только после релиза;
- тесты не блокируют деплой: регресс идёт отдельно, и красный прогон не останавливает выкладку;
- нет smoke после деплоя: о падении узнают от пользователей;
- долгий откат: особенно когда вместе с кодом накатываются миграции базы без обратной совместимости;
- редкие большие релизы: много изменений сразу, регресс на неделю и долгий поиск виновного коммита.
К каждому недостатку добавьте, что можно сделать: обязательный прогон автотестов в CI перед выкладкой, отдельные стенды на ветку, smoke-набор сразу после деплоя, фича-флаги, канареечные релизы. Лучше всего работает ваш реальный пример: что предложили и что изменилось. Если вы не знаете, как устроен деплой на проекте, признайте это и расскажите, что видно со стороны тестирования.
Где спотыкаются
Отвечают «это зона DevOps, я не в курсе». Для QA это слабая позиция: деплой прямо влияет на то, что и когда вы тестируете.
Критикуют процесс, не предлагая ни одного улучшения, и звучат как человек, который только жалуется.
Путают деплой с релизом и не видят, что выкладку кода можно отделить от включения функциональности фича-флагами.