Был ли опыт минимизации размера модели или ее оптимизации
Что проверяют
Был ли у вас реальный кейс, где модель упиралась в память, задержку или стоимость инференса, и понимаете ли вы, чем платите за сжатие. Следом почти всегда спрашивают, как вы проверяли, что качество не просело, и на каком железе мерили скорость.
Как отвечать
Начните с ограничения: модель не влезала в мобильное приложение, p99 выходил за SLA, GPU стоил слишком дорого. Затем методы и цифры до и после из вашего проекта:
- квантизация: переход с fp32 на int8 уменьшает веса примерно вчетверо. Пост-тренировочная (динамическая или статическая с калибровочной выборкой) делается быстро, quantization-aware training дороже, но меньше теряет в качестве. Для LLM обычны 4-битные схемы: GPTQ, AWQ, GGUF для llama.cpp;
- половинная точность: fp16 или bf16 на GPU почти бесплатно экономит половину памяти;
- прунинг: неструктурированный без поддержки разреженности в рантайме расчёт не ускоряет, структурированный (удаление каналов, голов внимания) ускоряет реально;
- дистилляция: маленькая модель-ученик учится на мягких вероятностях учителя, так получен DistilBERT;
- экспорт и рантайм: ONNX Runtime, TensorRT, OpenVINO, на мобильных Core ML и LiteRT (бывший TensorFlow Lite). Иногда компиляция под конкретное железо даёт больше остального;
- классические модели: у градиентного бустинга размер режут числом и глубиной деревьев и отбором признаков.
Если такого опыта не было, скажите прямо и опишите подход: замерить качество и задержку на целевом устройстве, начать с дешёвой пост-тренировочной квантизации и переходить к дорогим методам, только если её не хватило.
Где спотыкаются
Называют проценты сжатия, но не называют метрику качества до и после и данные, на которых её считали. Без этого цифра ничего не значит.
Мерят скорость на ноутбуке, а не на целевом телефоне или сервере с рабочим размером батча. Квантованная модель на железе без быстрых целочисленных инструкций может оказаться даже медленнее.
Путают уменьшение размера файла с ускорением. Неструктурированный прунинг половины весов часто не меняет задержку вовсе.