Как объяснить параметр температуры в модели техническому человеку

Что проверяют

Можете ли вы объяснить механику, а не метафору про «креативность»: что именно меняет температура в распределении и чего она не меняет. Следом обычно спрашивают, чем она отличается от top-p и почему при нулевой температуре ответ всё равно может меняться от запуска к запуску.

Как отвечать

Инженеру проще всего показать формулу. Модель на каждом шаге выдаёт логиты по словарю, вероятности получаются через softmax от z / T, где T и есть температура.

• T = 1: распределение модели без изменений;
• T меньше 1: разрыв между логитами растёт, распределение острее. При T, стремящемся к нулю, выбор сводится к argmax, то есть к жадному декодированию;
• T больше 1: распределение сглаживается, маловероятные токены получают шанс.

Пример на логитах [2, 1, 0]: при T = 1 вероятности примерно 0.67, 0.24 и 0.09; при T = 0.5 уже 0.87, 0.12 и 0.02; при T = 2 получается 0.51, 0.31 и 0.19. Порядок токенов не меняется никогда, меняется только разрыв между ними.

Дальше практика:

• выбор значения: извлечение фактов, классификация, JSON и код идут на низкой температуре, варианты формулировок и мозговой штурм на более высокой;
• top-p и top-k: они отрезают хвост распределения, температура меняет его форму. Обычно настраивают что-то одно;
• диапазоны: у разных API границы разные, где-то до 1, где-то до 2, а у части reasoning-моделей параметр фиксирован провайдером;
• классический ML: temperature scaling для калибровки классификатора и мягкие метки в дистилляции работают по той же формуле.

Где спотыкаются

Описывают температуру как «шум, который добавляют в модель». Веса и логиты не меняются, меняется только способ выбрать из них токен, а при жадном декодировании параметр вообще ни на что не влияет.

Обещают полную детерминированность при нуле. Из-за недетерминизма вычислений на GPU и батчинга ответы всё равно могут расходиться.

Считают, что низкая температура лечит галлюцинации. Она лишь заставляет модель увереннее выбирать самый вероятный вариант, и если он неверен, ошибка становится только стабильнее.