YOLOv7/YOLOv5系列算法改进NO.49模型剪枝、蒸馏、压缩

前言

剪枝百度网盘链接：https://mp.csdn.net/mp_blog/manage/article?spm=1001.2101.3001.5448
提取码：关注后私信获取

一、解决问题

本文尝试对YOLOv5模型进行模型剪枝、蒸馏、压缩，以达到网络模型轻量化的目的。以满足实际的应用部署。此前介绍了以下几种轻量化方法，欢迎大家点击查看，有问题可以关注后私信我答疑。💡🎈☁️11. 主干网络C3替换为轻量化网络MobileNetV3💡🎈☁️12. 主干网络C3替换为轻量化网络ShuffleNetV2💡🎈☁️13. 主干网络C3替换为轻量化网络EfficientNetv2💡🎈☁️14. 主干网络C3替换为轻量化网络Ghostnet💡🎈☁️15. 网络轻量化方法深度可分离卷积💡🎈☁️16. 主干网络C3替换为轻量化网络PP-LCNet💡🎈☁️40. 轻量化mobileone主干网络引入💡🎈☁️48. 构建新的轻量网络—Slim-neck by GSConv（2022CVPR）

二、基本原理

原文链接
源码
深度卷积神经网络（CNN）在许多实际应用中的部署在很大程度上受到其高计算成本的阻碍。在本文中，我们为神经网络提出了一种新的学习方案，以同时1）减小模型大小；2） 减少运行时内存足迹；以及3）在不损害精度的情况下减少计算操作的数量。这是通过以简单但有效的方式强制网络中的信道级稀疏性来实现的。与许多现有方法不同，所提出的方法直接适用于现代CNN架构，为训练过程引入了最小的开销，并且不需要用于生成模型的专用软件/硬件加速器。我们称我们的方法为网络瘦身，它将宽网络和大网络作为输入模型，但在训练过程中，不重要的信道被自动识别并随后修剪，从而产生具有可比精度的瘦而紧凑的模型。我们在各种图像分类数据集上，用几个最先进的CNN模型（包括VGGNet、ResNet和DenseNet）实证证明了我们方法的有效性。对于VGGNet，网络瘦身的多通道版本使模型大小减少了20倍，计算操作减少了5倍。

三、剪枝操作

1.首先使用train.py进行正常训练：

python train.py --weights yolov5s.pt --adam --epochs 100

2.然后稀疏训练：

python train_sparsity.py --st --sr 0.0001 --weights yolov5s.pt --adam --epochs 100

sr的选择需要根据数据集调整，可以通过观察tensorboard的map，gamma变化直方图等选择。 在run/train/exp*/目录下:

tensorboard --logdir .

然后点击出现的链接观察训练中的各项指标

3.训练完成后进行剪枝：

python prune.py --weights runs/train/exp1/weights/last.pt --percent 0.5 --cfg models/yolov5s.yaml

4.裁剪比例percent根据效果调整，可以从小到大试。注意cfg的模型文件需要和weights对应上,否则会出现运行prune 过程中出现键值不对应的问题,裁剪完成会保存对应的模型pruned_model.pt。
微调：

python finetune_pruned.py --weights pruned_model.pt --adam --epochs 100

ps
调参
1.浅层尽量少剪,从训练完成后gamma每一层的分布也可以看出来.
2.系数λ的选择需要平衡map和剪枝力度.首先通过train.py训练一个正常情况下的baseline.然后在稀疏训练过程中观察MAP和gamma直3.方图变化,MAP掉点严重和gamma稀疏过快等情况下,可以适当降低λ.反之如果你想压缩一个尽量小的模型,可以适当调整λ.
稀疏训练=>剪枝=>微调 可以反复迭代这个过程多次剪枝.
4.使用yolov5默认的一些参数通常效果能获得不错的效果，比如使用SGD训练300 epoch，lr 0.01->0.001等，这里实验为了快速选用adamw训练了100 epoch。
5.剪枝多少参数，有的是时候和数据集关系很大，我分别在简单任务（5k images,40 class）和复杂数据集（20w images， 120 class）实验过，简单任务可以将模型剪到很小（小模型也相对不够鲁棒）；复杂的任务最终参数较难稀疏，能剪的参数很少（<20%）。
6.yolov5的s,m,l,x四个模型结构是一样的，只是深度和宽度两个维度的缩放系数不同，所以本代码应该也适用m,l,x模型。
7.可以试试用大模型开始剪枝，比如用yolov5l,可能比直接用yolov5s开始剪枝效果更好？大模型的搜索空间通常更大。
8.在自己的数据集上,设置合理的输入往往很重要, 公开数据集VOC和COCO等通常做了处理,例如VOC长边都是500, COCO长边都是640, 这也是SSD设置输入300和512, yolov5设置输入640的一个重要原因.如果要在自己数据集上获得较好的性能,可以试试调整输入.
常见问题
1.稀疏训练是非常种重要的,也是调参的重点,多观察bn直方图变化,过快或者过慢都不适合,所以需要平衡你的sr, lr等.一般情况下,稀疏训练的结果和正常训练map是比较接近的.
2.剪枝时候多试试不同的ratio,一个基本的准则是每层bn层至少保留一个channel,所以有时候稀疏训练不到位,而ratio设置的很大,会看到remaining channel里面会有0出现,这时候要么设置更小的ratio,要么重新稀疏训练,获得更稀疏的参数.
3.如果想要移植到移动端，可以使用ncnn加速，另外剪枝时控制剩余channel为2^n能有效提升推理速度；GPU可以使用TensorRT加速。

四、知识蒸馏操作

YOLO系列算法改进方法 | 目录一览表
💡🎈☁️1. 添加SE注意力机制
💡🎈☁️2.添加CBAM注意力机制
💡🎈☁️3. 添加CoordAtt注意力机制
💡🎈☁️4. 添加ECA通道注意力机制
💡🎈☁️5. 改进特征融合网络PANET为BIFPN
💡🎈☁️6. 增加小目标检测层
💡🎈☁️7. 损失函数改进
💡🎈☁️8. 非极大值抑制NMS算法改进Soft-nms
💡🎈☁️9. 锚框K-Means算法改进K-Means
💡🎈☁️10. 损失函数改进为SIOU
💡🎈☁️11. 主干网络C3替换为轻量化网络MobileNetV3
💡🎈☁️12. 主干网络C3替换为轻量化网络ShuffleNetV2
💡🎈☁️13. 主干网络C3替换为轻量化网络EfficientNetv2
💡🎈☁️14. 主干网络C3替换为轻量化网络Ghostnet
💡🎈☁️15. 网络轻量化方法深度可分离卷积
💡🎈☁️16. 主干网络C3替换为轻量化网络PP-LCNet
💡🎈☁️17. CNN Transformer——融合Bottleneck Transformers
💡🎈☁️18. 损失函数改进为Alpha-IoU损失函数
💡🎈☁️19. 非极大值抑制NMS算法改进DIoU NMS
💡🎈☁️20. Involution新神经网络算子引入网络
💡🎈☁️21. CNN Transformer——主干网络替换为又快又强的轻量化主干EfficientFormer
💡🎈☁️22. 涨点神器——引入递归门控卷积（gnConv）
💡🎈☁️23. 引入SimAM无参数注意力
💡🎈☁️24. 引入量子启发的新型视觉主干模型WaveMLP（可尝试发SCI）
💡🎈☁️25. 引入Swin Transformer
💡🎈☁️26. 改进特征融合网络PANet为ASFF自适应特征融合网络
💡🎈☁️27. 解决小目标问题——校正卷积取代特征提取网络中的常规卷积
💡🎈☁️28. ICLR 2022涨点神器——即插即用的动态卷积ODConv
💡🎈☁️29. 引入Swin Transformer v2.0版本
💡🎈☁️30. 引入10月4号发表最新的Transformer视觉模型MOAT结构
💡🎈☁️31. CrissCrossAttention注意力机制
💡🎈☁️32. 引入SKAttention注意力机制
💡🎈☁️33. 引入GAMAttention注意力机制
💡🎈☁️34. 更换激活函数为FReLU
💡🎈☁️35. 引入S2-MLPv2注意力机制
💡🎈☁️36. 融入NAM注意力机制
💡🎈☁️37. 结合CVPR2022新作ConvNeXt网络
💡🎈☁️38. 引入RepVGG模型结构
💡🎈☁️39. 引入改进遮挡检测的Tri-Layer插件 | BMVC 2022
💡🎈☁️40. 轻量化mobileone主干网络引入
💡🎈☁️41. 引入SPD-Conv处理低分辨率图像和小对象问题
💡🎈☁️42. 引入V7中的ELAN网络
💡🎈☁️43. 结合最新Non-local Networks and Attention结构
💡🎈☁️44. 融入适配GPU的轻量级 G-GhostNet
💡🎈☁️45. 首发最新特征融合技术RepGFPN（DAMO-YOLO）
💡🎈☁️46. 改进激活函数为ACON
💡🎈☁️47. 改进激活函数为GELU
💡🎈☁️48. 构建新的轻量网络—Slim-neck by GSConv（2022CVPR）

这篇好文章是转载于：学新通技术网