Сколько весов обучается в сверточном слое с ядром 5x5 и 10 фильтрами
Что проверяют
Умеете ли вы считать параметры слоя и, что важнее, замечаете ли, что задача недоопределена. Без числа входных каналов однозначного ответа нет, и первый правильный ход это уточнить, а не назвать наугад.
Как отвечать
Формула простая: число весов равно высоте ядра, умноженной на ширину, на число входных каналов и на число фильтров. Для ядра 5 на 5 и десяти фильтров получается 25 умножить на число каналов и на 10, то есть 250 на каждый входной канал. Если на входе картинка RGB, каналов три и весов 750. Если слой стоит в середине сети и на входе 64 канала, весов уже 16 000.
Сразу оговорить смещения: обычно на каждый фильтр приходится одно значение bias, значит к 750 добавляется 10 и получается 760 обучаемых параметров. Если сразу за свёрткой стоит батч-нормализация, смещение отключают как избыточное, потому что она всё равно вычитает среднее.
Полезно добавить то, что показывает понимание идеи: количество параметров не зависит от размера входной карты, ядро применяется во всех позициях с общими весами. Полносвязный слой на том же входе потребовал бы на порядки больше. А вот размер выхода от входа зависит и считается через паддинг и шаг.
Где спотыкаются
Молча подставляют три канала и называют 750 как единственно верный ответ. Три канала бывают только на первом слое, дальше по сети число каналов равно числу фильтров предыдущей свёртки.
Второе: теряют смещения или, наоборот, считают их на каждую позицию выхода. Bias один на фильтр, и от размера карты признаков его количество не меняется.
Третье: путают число параметров с числом операций. Весов 760, а умножений на прямом проходе столько же на каждую позицию выхода, и именно это определяет скорость, а не размер модели в мегабайтах.