Чем руководствовались при решении, сколько инстансов сервиса запускать?
Что проверяют
Это вопрос про обоснование, а не про число. Смотрят, опираетесь ли вы на измерения, понимаете ли, чем ограничен именно ваш сервис, и учитываете ли доступность, а не только пиковую нагрузку.
Как отвечать
Стройте ответ как расчёт из четырёх шагов.
Во что упирается сервис. У задачи, считающей на процессоре, потолок в Python это одно ядро на процесс: глобальная блокировка интерпретатора не даёт потокам считать параллельно, поэтому масштабируются процессами. У задачи, ждущей ввод-вывод, узкое место другое: пул соединений к базе, лимиты внешнего API, память на соединение.
Сколько держит один экземпляр. Это измеряется нагрузочным тестом до отказа. Ёмкость фиксируется как число запросов в секунду при приемлемой задержке на высоком перцентиле, а не по средней: средняя прячет как раз тот хвост, из-за которого жалуются пользователи.
Сколько нужно. Пиковая нагрузка делится на измеренную ёмкость, сверху закладывается запас на всплеск и один лишний экземпляр, чтобы выкатка или падение узла не роняли сервис. Отсюда и правило не держать один инстанс даже при слабой нагрузке.
Что ограничивает сверху. Каждый экземпляр держит свой пул соединений, и произведение не должно упираться в лимит базы. Для обработчиков очереди метрика масштабирования другая: рост отставания очереди, а не загрузка процессора.
Закончите тем, что фиксированное число это только стартовая точка: дальше автоскейлер, а границы минимума и максимума берутся из того же расчёта и пересматриваются по данным продакшена.
Где спотыкаются
Называют число, не назвав нагрузку. Без ёмкости одного экземпляра и без пикового профиля любая цифра это угадывание.
Второе: считают, что чем больше воркеров, тем лучше. Каждый процесс это отдельная копия памяти, на маленькой машине они начинают конкурировать за процессор и вытеснять друг друга. Известная эвристика про удвоенное число ядров плюс один относится к синхронным воркерам и к асинхронным не применима.
Третье: масштабируют приложение, когда узкое место в базе. Новые экземпляры только добавляют соединений и ухудшают ситуацию. Сначала надо понять, где очередь, и уже потом решать про число инстансов.