За счет чего происходит улучшение качества при дистилляции модели самой себя?

Что проверяют

Понимаете ли вы, откуда берётся выигрыш, если у ученика та же архитектура и те же данные, что у учителя, и новой информации вроде бы нет. Следом обычно спрашивают про роль температуры и чем самодистилляция отличается от label smoothing.

Как отвечать

Схема: обучаем модель, затем с нуля обучаем такую же на смеси настоящих меток и мягких предсказаний первой. Лосс обычно α·CE(y, p_s) + (1-α)·T²·KL(p_t‖p_s), где T это температура софтмакса. Работа Born-Again Networks (2018) показала, что ученик той же архитектуры обгоняет учителя, а поколения можно повторять.

Откуда улучшение, по основным объяснениям:

• тёмное знание: мягкие вероятности учителя несут сходство классов. Если на фото кошки модель даёт заметную вероятность рыси и почти нулевую грузовику, ученик получает с каждого примера больше сигнала, чем из one-hot метки;
• регуляризация по примерам: похоже на label smoothing, но сглаживание не равномерное, а своё для каждого объекта. На трудных и неоднозначных примерах уверенность снижается, модель меньше подгоняется под шум разметки;
• неявный ансамбль: по гипотезе Allen-Zhu и Li, разные запуски выучивают разные наборы признаков, и дистилляция передаёт ученику признаки учителя, пока он учит свои. Выходит эффект, близкий к ансамблю, в одной сети;
• усиление регуляризации: Mobahi и соавторы (2020) показали на ядерной постановке, что каждый раунд сужает эффективную ёмкость. Первые раунды помогают, дальше начинается недообучение, поэтому поколений обычно немного.

Температуру берут больше единицы и подбирают на валидации. Ученику часто добавляют аугментации и dropout, на этом построен Noisy Student. Близкая идея в DINO, где учитель это скользящее среднее весов ученика.

Где спотыкаются

Описывают дообучение на жёстких метках argmax на тех же данных. Такие метки почти совпадают с исходными, и выигрыша нет: работает именно мягкое распределение.

Не учитывают, что переобученный учитель на трейне выдаёт почти one-hot вероятности. Помогают температура, ранняя остановка учителя или предсказания по фолдам.

Путают самодистилляцию с компрессией. Цель здесь не уменьшить модель, а поднять качество при той же архитектуре.