Есть ли опыт работы с диффузионными моделями
Что проверяют
Работали ли вы с диффузионными моделями руками или знаете их по статьям, и насколько глубоко: запускали готовый пайплайн, дообучали или обучали с нуля. Следом почти всегда просят объяснить, как модель генерирует изображение, на чём вы её учили и как мерили качество.
Как отвечать
Стройте ответ от задачи, а не от списка моделей. Каркас:
- задача и уровень: инференс готовой модели, дообучение под домен или обучение своей. Это разные уровни опыта, назовите свой честно;
- стек: чаще всего Hugging Face
diffusersповерх PyTorch, модели семейств Stable Diffusion, SDXL, Flux. Для дообучения LoRA и DreamBooth, для управления композицией ControlNet, для ускорения половинная точность,torch.compileи меньшее число шагов; - механика: прямой процесс постепенно зашумляет данные, сеть (U-Net или трансформер, как в DiT) учится предсказывать шум, а генерация идёт обратно, от шума к картинке. Латентная диффузия работает в пространстве VAE, это и сделало её дешёвой. Classifier-free guidance усиливает следование промпту, сэмплер (DDIM, DPM-Solver) определяет число шагов;
- качество и результат: чем мерили (FID, CLIP score, слепое сравнение людьми), время генерации, стоимость на GPU. Цифры приводите свои, из реального проекта, и с бейзлайном.
Если production-опыта не было, так и скажите, но покажите соседний: «В продакшене диффузию не использовал. Разбирал устройство DDPM, запускал SDXL через diffusers, дообучал LoRA на своём наборе из пары сотен картинок. В работе был опыт с генеративными моделями для текста». Это честнее и сильнее выдуманного кейса.
Где спотыкаются
Выдают за опыт работу с DALL·E или Midjourney через интерфейс. Пользоваться сервисом и работать с моделью это разные вещи, интервьюер различит их на первом уточнении.
Рассказывают, что «обучили модель на COCO и улучшили качество на 20%», не зная бейзлайна и метрики. Такой ответ разваливается от вопроса «20% чего?».
Не могут объяснить, что предсказывает сеть и зачем нужен планировщик шума. Даже с чисто прикладным опытом базовую механику стоит освежить перед собеседованием.