Куда направлен градиент функции f(x) = 4x + 5 в точке x

Что проверяют

Понимаете ли вы, что градиент это вектор в пространстве аргументов, а не наклон графика, и умеете ли связать его с градиентным спуском. Почти всегда следом спрашивают: куда сделает шаг спуск на этой функции и чем он закончится.

Как отвечать

Сначала короткий расчёт. Для функции одной переменной градиент совпадает с производной: f'(x) = 4. Значение не зависит от точки, поэтому ответ одинаков для любого x: градиент направлен в положительную сторону оси x, его модуль равен 4. При движении вправо функция растёт быстрее всего, на 4 единицы на единицу аргумента.

Дальше покажите, что понимаете смысл:

• градиент живёт на оси аргумента: это вектор из одной компоненты (4), он показывает, куда сдвигать x, а не куда смотрит прямая на плоскости (x, f);
• антиградиент: вектор (-4) указывает направление наискорейшего убывания, по нему и идёт градиентный спуск;
• шаг спуска: x_new = x - lr * 4. Шаг одинаковый на каждой итерации, потому что производная постоянна;
• нет минимума: линейная функция не ограничена снизу, поэтому спуск никогда не остановится и уйдёт в минус бесконечность. Функции потерь в ML подбирают так, чтобы минимум существовал: MSE, log loss, плюс регуляризация;
• многомерный случай: для f(x, y) = 4x + 3y градиент равен (4, 3) и перпендикулярен линиям уровня 4x + 3y = c. В PyTorch то же число вернёт x.grad после backward().

Хорошо закончить сравнением: у f(x) = x² градиент 2x меняет и длину, и знак. Слева от нуля он смотрит влево, справа вправо, а в минимуме обнуляется, и именно там спуск останавливается.

Где спотыкаются

Путают градиент с антиградиентом и говорят, что он «указывает вниз, к минимуму». Градиент всегда показывает направление роста, к минимуму ведёт минус градиент.

Рисуют градиент как касательную к графику, то есть вектор (1, 4) на плоскости. Это направление касательной, а градиент функции одной переменной лежит на оси x.

Начинают подставлять конкретное число вместо x, не замечая, что производная константа. Интервьюер ждёт фразы «в любой точке одинаково» и вывода, что спуск на такой функции расходится.