Приходилось ли работать с ELK стеком для логов и мониторинга

Что проверяют

Работали ли вы с логами как с системой (сбор, разбор, хранение, поиск) или только открывали Kibana и вводили запрос. Вопрос отсекает тех, кто видел стек со стороны потребителя. Следом обычно спрашивают про объём и хранение: сколько логов в сутки и сколько вы их держите.

Как отвечать

Пройдите по всей цепочке и на каждом шаге скажите, что делали именно вы.

• источник: структурированные логи в JSON (structlog или python-json-logger), обязательный идентификатор запроса и trace_id из OpenTelemetry, осмысленные уровни, никаких токенов и персональных данных в сообщениях;
• доставка: Filebeat или Elastic Agent рядом с сервисом вместо тяжёлого Logstash. Разбор полей делают конвейером на стороне Elasticsearch либо через Vector или Fluent Bit, если инфраструктура разнородная;
• хранение: поток данных и политика ILM с переходами по фазам вплоть до удаления, шаблон индекса с явным маппингом, keyword для идентификаторов, text только там, где нужен полнотекстовый поиск. Размер шарда держат в районе десятков гигабайт;
• поиск и оповещения: Discover с запросами на KQL, дашборды по количеству ошибок и кодам ответа, правила оповещений в Kibana или внешним сервисом;
• границы применения: логи не заменяют метрики и трассировки. Считать долю ошибок агрегацией по логам дорого, для этого есть Prometheus, а сквозной путь запроса показывает трассировка.

Скажите и про деньги: включённый на проде DEBUG это самый быстрый способ забить диск, поэтому уровни и выборочность настраивают заранее.

С этим стеком не работали, назовите аналог из своего опыта (Grafana Loki, логи в ClickHouse, облачный сервис) и объясните разницу подхода: в Loki индексируются только метки, а тело ищется перебором.

Где спотыкаются

Пишут в лог свободный текст, а потом разбирают его шаблонами grok. Структурированный JSON на источнике снимает половину задачи и всю боль с изменением формата.

Ничего не знают про маппинг. Динамическое определение полей на произвольных ключах раздувает индекс, и кластер начинает валиться без видимой причины.

Рассказывают только про дашборды. Спрашивают обычно про то, что под ними: объёмы, срок хранения, стоимость.