Каков масштаб параметров и сколько параметров добавляется сверху

Что проверяют

Вопрос обычно звучит после рассказа о вашем проекте: насколько велика базовая модель и сколько обучаемых параметров вы добавили поверх неё при дообучении. Интервьюер проверяет, понимаете ли вы, что именно обучали и во что это обошлось по памяти и данным. Следом часто спрашивают, почему выбрали голову или адаптеры, а не полный fine-tuning.

Как отвечать

Отвечайте цифрами из своего проекта, в двух измерениях: что было и что добавили.

• базовая модель: название и порядок размера. Например, BERT-base около 110 млн параметров, ResNet-50 около 25 млн, открытая LLM на 7 или 8 млрд;
• что добавлено сверху: классификационная голова, адаптеры LoRA, дополнительные слои. Голова на 10 классов поверх эмбеддинга размерности 768 это 768 × 10 + 10, то есть 7690 параметров;
• LoRA: на матрицу размера d × k добавляется r × (d + k) параметров. При r = 8 и матрице 4096 × 4096 это около 65 тыс. на каждую адаптируемую проекцию, а в сумме обычно доли процента от базовой модели;
• что заморожено: всё ли тело модели, какие слои размораживали и почему;
• цена: сколько ушло видеопамяти, помещались ли градиенты и состояние оптимизатора, использовали ли смешанную точность или квантование (QLoRA).

Посчитать обучаемые параметры в PyTorch можно одной строкой: sum(p.numel() for p in model.parameters() if p.requires_grad), в peft для этого есть print_trainable_parameters(). Назовите способ подсчёта, так видно, что цифры не с потолка.

Если вы работали только с классическими моделями, честно скажите об этом и перенесите ту же логику: сколько признаков, какая глубина и сколько деревьев в бустинге, как рост сложности сказался на валидации.

Где спотыкаются

Путают параметры и гиперпараметры: называют learning rate и число эпох вместо размера модели.

Дают цифры без проверки. Фраза «где-то миллион» без способа подсчёта выдаёт, что модель собирали по туториалу.

Не связывают размер добавки с объёмом данных. Сотни миллионов обучаемых параметров на пяти тысячах размеченных примеров почти гарантируют переобучение, и интервьюер ждёт, что вы заметите это сами.