Что такое residual connection и для чего его используют

Что проверяют

Понимаете ли вы, какую проблему решает остаточная связь, а не только как она выглядит в коде. Ответ «чтобы не затухал градиент» считается минимальным, от сильного кандидата ждут проблему деградации глубоких сетей и роль skip-связей в трансформерах. Следом обычно спрашивают, что делать, если размерности входа и выхода блока не совпадают.

Как отвечать

Остаточный блок считает не y = F(x), а y = x + F(x): вход проходит мимо слоёв и прибавляется к их выходу. Слоям остаётся выучить только поправку к входу.

• зачем появилось: в статье про ResNet (He и соавторы, 2015) показали, что обычная сеть на 56 слоёв хуже сети на 20 даже на обучающей выборке. Это не переобучение, а трудность оптимизации: глубокой сети сложно выучить даже тождественное отображение. С residual тождество получается при F(x) = 0, и лишние блоки становятся почти бесплатными;
• градиент: производная y по x равна I + dF/dx, поэтому у градиента всегда есть прямой путь к ранним слоям, и он не перемножается через всю глубину. Так ResNet дошёл до 152 слоёв;
• несовпадение размерностей: когда блок меняет число каналов или делает stride 2, короткий путь проводят через проекцию, обычно свёртку 1x1 с BatchNorm;
• трансформеры: каждый подслой, attention и FFN, обёрнут в residual. В исходной статье LayerNorm стоял после сложения (Post-LN), в современных LLM почти всегда Pre-LN: x + F(LN(x)), такое обучение стабильнее на большой глубине. Сам поток x через слои называют residual stream.

Плюсом будет ResNet v2: BatchNorm и ReLU переносят внутрь ветки F, чтобы короткий путь оставался чистым тождеством.

Где спотыкаются

Путают сложение с конкатенацией. В DenseNet и в skip-связях U-Net признаки склеиваются по каналам, это другой механизм с другой ценой по памяти.

Сводят всё к затухающему градиенту. К 2015 году его во многом уже закрыли BatchNorm и аккуратная инициализация, а ResNet решал именно деградацию глубоких сетей.

Пишут блок, где in_channels не равен out_channels, и просто складывают тензоры. Без проекции это падает на несовпадении форм, и интервьюер часто ловит именно на этом.