Расскажите про опыт тестирования проекта Одинеска
Что проверяют
Тестировали ли вы правда учётную систему на платформе 1С или подставили в рассказ обычное веб-приложение. Домен здесь свой: документы и движения по регистрам, закрытие периода, права по ролям, регулярные обновления типовой конфигурации с вашими доработками поверх. Заодно проверяют, понимаете ли вы, что результат операции проверяется в данных, а не по закрывшейся форме.
Как отвечать
Скажите, какая конфигурация и насколько она доработана, это задаёт весь дальнейший разговор. Затем:
- что тестировали: проведение документов и движения по регистрам, расчёты и округления, печатные формы, отчёты, обмен с внешними системами;
- как проверяли: сверяли результат в регистрах и отчётах, повторно проводили и отменяли проведение, смотрели, что остаётся в базе после отмены;
- права: одна и та же операция под разными ролями, ограничения доступа на уровне записей;
- обновления: регресс после обновления типовой конфигурации, сравнение и объединение, список мест, которые отваливаются первыми;
- данные: копия рабочей базы с обезличиванием, подготовка остатков и справочников под сценарий;
- автоматизация: сценарные тесты на Gherkin через Vanessa Automation, встроенный механизм тестового клиента и менеджера.
Где спотыкаются
Обещают автоматизацию через Selenium. Тонким клиентом он не управляет вообще, а веб-клиент отдаёт сгенерированную разметку, по которой устойчивые локаторы почти не строятся. Названный не тот инструмент сразу показывает, что опыта с платформой не было.
Проверяют только экран. Документ провёлся, форма закрылась, а движений нет или суммы разъехались. В учётной системе основная часть проверок это запросы к данным и сверка отчётов.
Приносят фразы вида «сократили количество критических ошибок на треть». Никто не считает такое по релизам, и уточняющий вопрос про методику это подтвердит.