Как создать и обучить классификатор в PyTorch

Что проверяют

Знаете ли вы стандартный цикл обучения и понимаете ли, зачем в нём каждая строка. Следом обычно спрашивают, почему в конце модели нет softmax и что изменится при дисбалансе классов.

Как отвечать

Пройдите по частям:

• данные: свой Dataset с __len__ и __getitem__ либо TensorDataset, затем DataLoader с batch_size и shuffle=True только для train. Разбиение на train, validation и test, нормализация признаков по статистикам train;
• модель: наследник nn.Module с методом forward или nn.Sequential. Выход последнего слоя это логиты, по одному на класс;
• функция потерь: nn.CrossEntropyLoss принимает сырые логиты и метки классов типа long, softmax внутри неё уже есть. Для бинарной задачи с одним выходом берут nn.BCEWithLogitsLoss;
• оптимизатор: torch.optim.AdamW как разумный старт, по желанию планировщик скорости обучения;
• цикл: model.train(), затем на каждом батче optimizer.zero_grad(), прямой проход, loss.backward(), optimizer.step();
• валидация: model.eval() и torch.no_grad() или torch.inference_mode(), метрики после каждой эпохи, сохранение лучшего state_dict и ранняя остановка.

Модель и батчи переносятся на одно устройство через .to(device). Для ускорения на GPU есть смешанная точность через torch.autocast, в PyTorch 2 ещё и torch.compile. Метрику выбирайте под задачу: при дисбалансе accuracy обманывает, смотрите F1, ROC-AUC и матрицу ошибок, а в функцию потерь можно передать weight для редких классов.

Где спотыкаются

Ставят softmax перед CrossEntropyLoss. Softmax применяется дважды, градиенты слабеют, и модель учится хуже без всякой явной ошибки.

Забывают model.eval() на валидации и model.train() при возврате к обучению. Dropout и BatchNorm ведут себя в этих режимах по-разному, и метрики получаются искажёнными.

Оценивают модель на той же выборке, по которой подбирали гиперпараметры и эпоху остановки. Для честной оценки нужна отдельная тестовая часть, которую вы не трогали до самого конца.