关于shortcut_prune的bn剪枝规则有些疑问 about yolov3-channel-and-layer-pruning

[tanluren]

问题一：你说的问题正是策略二的不合理的地方，这在剪枝率小的时候问题不大，剪枝率大的时候掉点厉害。你说的方案不够完善，不能解决通道对应问题，改变规则也导致无法兼容其他项目，你可以看看我改的另一个版本tanluren/YOLOv3-extreme-pruning，就是重新定义了shortcut的计算；再建议看看策略三，较完美解决了这个问题，实验中它的效果也最好。
问题二：从通道的输出来说是公平的，CBL结构从卷积到bn到激活，在bn这个环节是被bn weight和bias直接控制了通道的输出大小的，而bias是常量，输出就看weight了，如果weight被压缩至接近0，这个通道的输出就基本接近常量了，剪掉影响也不大；这的确是简单粗暴的评价方法，不同层的原始分布也不同，你可以尝试更复杂的策略去做修剪；但shortcut对weight有什么影响？没直接影响

[zihaozhang9]

从通道的输出来说是公平的，CBL结构从卷积到bn到激活，在bn这个环节是被bn weight和bias直接控制了通道的输出大小的，而bias是常量，输出就看weight了，如果weight被压缩至接近0，这个通道的输出就基本接近常量了，剪掉影响也不大；这的确是简单粗暴的评价方法，不同层的原始分布也不同，你可以尝试更复杂的策略去做修剪；但shortcut对weight有什么影响？没直接影响

是的。我正在看策略三。
十分感谢您的回复。

[songyang86]

大牛，我想问一个问题，我觉的论文《Learning Efficient Convolutional Networks Through Network Slimming》中给出的损失函数是针对需要剪枝的BN层的，而网络的最后层的损失函数还是经典的yolov3的损失函数，可以这样理解吗？

期待您的回复。十分感谢