arxiv UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer

名称
UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer
首页
https://yiyibooks.cn/arxiv/2401.06426v1/index.html
原始地址
https://arxiv.org/pdf/2401.06426
描述
传统的通道修剪方法通过减少网络通道来有效地修剪具有深度卷积层和某些高效模块(例如流行的反向残差块)的高效 CNN 模型。由于一些归一化层的存在,先前通过减少网络深度的深度剪枝方法不适合剪枝一些高效模型。此外,通过直接删除激活层来微调子网会破坏原始模型权重,阻碍剪枝后的模型实现高性能 ...