Был ли у вас опыт работы с LLM (Large Language Models)

Что проверяют

Отличаете ли вы «пользовался чат-ботом» от «делал продукт на языковой модели». Ждут понимания ограничений, оценки качества и стоимости, а не перечисления модных названий.

Как отвечать

Расскажите про задачу и решение, а не про модель саму по себе: что делали (поиск по документам, классификация обращений, извлечение полей из текста, генерация описаний, помощник в интерфейсе), какой была метрика успеха и что получилось.

Дальше покажите, что владеете инструментами уровнем ниже:

• промптинг: системная инструкция, примеры в запросе, ограничение формата ответа, структурированный вывод в JSON и его валидация;
• RAG: разбиение документов на фрагменты, эмбеддинги, векторное хранилище, отбор кандидатов и переранжирование. Обязательно скажите, что качество RAG определяется поиском, а не моделью;
• дообучение: когда оно оправдано (устойчивый формат, свой стиль, экономия на длинных инструкциях) и почему чаще хватает промпта и хорошего контекста;
• оценка: набор проверочных примеров, метрики на них, ручная разметка ответов, сравнение версий промпта. Без этого любая правка промпта это гадание;
• эксплуатация: стоимость запроса, задержка, ограничения по частоте, кеширование, деградация при недоступности провайдера.

Отдельно назовите проблемы, с которыми сталкивались: выдумывание фактов, чувствительность к формулировке, утечка персональных данных в запросах, инъекции в промпт через пользовательский текст.

Где спотыкаются

Ограничиваются фразой «использовал ChatGPT в работе». Это опыт пользователя, а не инженера.

Не могут объяснить, как измеряли качество.

Обещают дообучение как универсальное лекарство от галлюцинаций. Оно меняет стиль и формат, а знания надёжнее подавать контекстом.