Был ли опыт работы с инцидентами на продакшене и как решал баги

Что проверяют

Работали ли вы с живой системой и умеете ли действовать по порядку: сначала восстановить сервис, потом искать причину. Следом обычно спрашивают, что изменилось после инцидента, чтобы он не повторился.

Как отвечать

Возьмите один реальный инцидент и расскажите его по шагам. Каркас:

• обнаружение: откуда узнали. Алерт из Prometheus и Alertmanager, всплеск ошибок в Sentry, жалоба пользователей. Если узнали от пользователей, это тоже вывод для постмортема;
• смягчение: откат релиза, выключение фича-флага, перезапуск воркера, масштабирование. Цель: вернуть сервис, даже не понимая причину до конца;
• диагностика: трейсбек в Sentry, логи в Kibana, Loki или kubectl logs, EXPLAIN ANALYZE для медленного запроса, py-spy dump для зависшего процесса без его остановки. Для Python типичны утечка соединений к базе, блокирующий вызов внутри async-кода, упавший Celery-воркер, N+1 в Django ORM;
• исправление: фикс вместе с тестом, воспроизводящим проблему, выкатка через обычный пайплайн, а не правкой на сервере;
• постмортем: хронология, коренная причина, действия. Лучше в формате blameless, без поиска виноватого;
• профилактика: новый алерт, тест, лимит, изменение процесса ревью.

Цифры (сколько длился инцидент, сколько запросов упало, за сколько откатились) должны быть вашими и правдоподобными. Красивые «сократили время простоя на 70%» без контекста вызывают вопросы.

Если прямого опыта с продом нет, скажите честно и расскажите о близком: разбирали баг со стейджинга по логам, дежурили вторым номером, читали чужие постмортемы. Добавьте, как бы действовали: откат первым, диагностика вторым.

Где спотыкаются

Сразу бросаются чинить код на проде вместо отката. Для интервьюера это красный флаг: пока вы пишете фикс, пользователи продолжают получать ошибки.

Рассказывают, что «сам нашёл и сам всё исправил за 15 минут». Без коммуникации с командой и сообщений в канал инцидента это звучит как проблема процесса, а не как успех.

Заканчивают на «исправили баг». Без выводов и профилактики непонятно, чему научилась команда.