Смещение действует для каждого виртуального нейрона, поэтому нет смысла иметь несколько входов смещения, где имеется один выход - это было бы эквивалентно просто суммированию различных весов смещения в одном смещении.
На картах объектов, которые являются выходом первого скрытого слоя, цвета больше не хранятся отдельно *. Фактически каждая карта объектов представляет собой «канал» в следующем слое, хотя они обычно визуализируются отдельно, где вход визуализируется с объединением каналов. Другой способ думать об этом состоит в том, что отдельные каналы RGB в исходном изображении представляют собой 3 «карты характеристик» на входе.
Неважно, сколько каналов или объектов находится в предыдущем слое, выходные данные каждой карты объектов в следующем слое представляют собой одно значение на этой карте. Одно выходное значение соответствует одному виртуальному нейрону, для которого требуется один вес смещения.
В CNN, как вы объясняете в этом вопросе, одинаковые веса (включая вес смещения) распределяются в каждой точке выходной карты объектов. Таким образом, каждая карта объектов имеет свой собственный вес смещения, а также previous_layer_num_features x kernel_width x kernel_height
вес соединений.
Так что да, ваш пример, приводящий к (3 x (5x5) + 1) x 32
общему весу для первого слоя, верен для CNN с первым скрытым слоем, обрабатывающим вход RGB в 32 отдельных картах объектов.
* Вы можете запутаться, увидев визуализацию весов CNN, которые можно разделить на цветовые каналы, с которыми они работают.