Что такое дистилляция?
Что проверяют
Понимаете ли вы, что дистилляция это перенос знания, а не просто способ сделать модель поменьше. Инженеру вопрос задают в связке со стоимостью вывода: сможете ли объяснить, чем именно вы платите за ускорение и как проверяете, что заплатили не слишком дорого.
Как отвечать
Суть: большая модель-учитель размечает данные своими предсказаниями, а маленькая модель-ученик учится повторять это распределение. Ценность в мягких метках: вероятности по всем классам несут информацию о похожести классов, которой в жёсткой разметке просто нет.
Механика классического варианта. Выходы учителя и ученика берутся с температурой выше единицы, чтобы проявились мелкие вероятности. Функция потерь складывается из расхождения с мягкими метками и обычной ошибки на настоящих метках. Вклад мягкой части домножается на квадрат температуры, иначе при её росте градиент затухает.
Стоит назвать разновидности: перенос промежуточных представлений и карт внимания, а не только последнего слоя; сжатие ансамбля в одну модель; ученик того же размера, где выигрыш в качестве, а не в скорости; для языковых моделей обучение на рассуждениях учителя и на ответах, которые ученик генерирует сам по ходу обучения.
И место в ряду методов: квантизация меняет точность чисел, обрезка убирает связи, дистилляция меняет саму модель и спокойно сочетается с обеими.
Где спотыкаются
Говорят, что дистилляция экономит обучение. Наоборот: сначала нужен учитель, потом прогон его по всему набору. Экономится вывод, то есть задержка, память и счёт за железо.
Учат ученика только на предсказаниях учителя и только на исходной обучающей выборке. Полезнее большой непомеченный набор, близкий к проду: учитель размечает его сам, и ученик видит заметно больше ситуаций. Настоящие метки из функции потерь тоже лучше не убирать, иначе ученик наследует и ошибки учителя.
Меряют успех одной усреднённой метрикой. Ученик обычно проседает на редких классах и хвостовых случаях, а они в проде дороже всего. Смотреть надо по срезам, вместе с задержкой и загрузкой ускорителя, и сравнивать не только с учителем, но и с той же маленькой моделью, обученной обычным способом: если разницы нет, дистилляция здесь не нужна.