Почему в нейронных сетях редко используют сигмоиду как функцию активации
Что проверяют
Помните ли вы производную сигмоиды и умеете ли вывести из неё затухание градиента, а не пересказать чужой список недостатков. Отдельно проверяют, отличаете ли вы скрытые слои от выходного: на выходе сигмоида как раз уместна, и ответ без этой оговорки выглядит заученным.
Как отвечать
Причин три, и первая главная.
Производная равна sigma(x) * (1 - sigma(x)), её максимум равен 0.25 в нуле. При обратном распространении множители перемножаются по слоям, то есть градиент уменьшается вчетверо на каждый слой даже в самой выгодной точке. На десятке слоёв это множитель порядка одной миллионной, и нижние слои перестают обучаться.
Насыщение. При больших по модулю входах выход прижат к нулю или единице, производная почти ноль, нейрон замирает, и вернуть его градиентом уже нечем.
Выход не центрирован в нуле: активации всегда положительные, поэтому градиенты по весам одного нейрона получают одинаковый знак и шаг идёт зигзагом. У tanh этой беды нет, хотя насыщение остаётся. Плюс вычисление: max(0, x) считается быстрее экспоненты.
Что вместо: ReLU в свёрточных сетях, GELU и SiLU в трансформерах. У ReLU на положительной полуоси производная равна единице, затухания нет, а плата это мёртвые нейроны, отсюда Leaky ReLU и ELU.
Обязательно сказать, где сигмоида жива: выход бинарной и многометочной классификации, вентили в LSTM и GRU, любой коэффициент, который обязан лежать между нулём и единицей.
Где спотыкаются
Объясняют беду ограниченностью диапазона. Функция tanh ограничена ровно так же, но работает лучше: дело в величине производной и в центрировании, а не в самих границах.
Переносят критику на выходной слой и ставят softmax в задаче, где у объекта может быть несколько меток сразу. Softmax делит вероятность между классами, а такой задаче нужны независимые вероятности, то есть сигмоида с бинарной кросс-энтропией по логитам.
Не называют остальные средства против затухания. Смена активации лишь одно из них, рядом стоят нормализация, остаточные связи и разумная инициализация весов, и интервьюер обычно ждёт, что вы вспомните хотя бы про них.