Наши требования
Сильный опыт в DL-инженерии, желательно в обучении LLM-моделей
Глубокое знание PyTorch, включая DDP / FSDP
Понимание distributed training и efficient deep learning: DP / TP / PP / EP / SP, mixed precision, checkpointing, offloading, профилирование и оптимизация обучения
Понимание архитектуры LLM: Transformer, attention (MHA / GQA / MLA), RoPE и другие позиционные эмбеддинги, long context, MoE
Уверенный Python на уровне production-кода: asyncio, multiprocessing, профилирование, отладка больших систем
Опыт обучения мультимодальных LLM
Опыт снижения стоимости контекста при обработке видео
Опыт расширения контекста LLM
Понимание RL-подходов для обучения моделей: RLHF / RLVR, PPO / GRPO / DPO
Опыт построения бенчмарков с использованием LLM-as-a-judge