基于动态稀疏和特征学习增强的模型剪枝
作者:阮晓峰; 胡卫明; 刘雨帆; 李兵
更新时间:
在深度学习算法的实际应用中,为了减少大量的参数和繁重的计算量,剪枝被广泛应用于模型压缩任务中。然而,大多数剪枝方法只使用训练后的模型参数作为训练的初始参数,而不使用模型本身的特征信息。因此,本文提出了一种基于模型特征学习增强的动态剪枝方法,该方法不需要数据集的类别标签。一方面,本文利用基准模型(训练模型)输出的预测类别信息和中间层特征作为监督信息,指导压缩子模型的任务学习,增强了压缩模型学习基准模型特征的能力。另一方面,本文利用不同压缩子模型的输出信息相互学习,另外,本文采用了一种动态结构化的稀疏正则化方法,该方法只对期望的稀疏参数进行正则化,并使用基于泰勒级数的信道敏感性准则来确定期望的稀疏参数,采用动态稀疏迭代收缩阈值算法(ISTA)求解约束剪枝率的优化问题。模型训练后,该方法直接去除冗余参数,修剪后的模型不需要进行微调。在多种网络结构和数据集下,该方法取得了良好的压缩性能