【知识星球】剪枝还是不剪枝，剪了到底有什么好？
欢迎大家来到《知识星球》专栏，这里是网络结构1000变小专题，继续给大家介绍模型压缩相关内容。
作者&编辑 | 言有三
1 剪枝
我们都知道剪枝可以压缩计算量，那到底可以达到什么程度呢？下面看Google的一篇文章的研究。
有三AI知识星球-网络结构1000变
To prune, or not to prune
本文探讨了具有同样大小的稀疏大模型和稠密小模型的性能对比，在图像和语音任务上表明稀疏大模型普遍有更好的性能。
作者/编辑 言有三
模型剪枝是一项重要的模型压缩技术，它给网络参数带来了稀疏性，在开源框架中可以通过和权重矩阵大小相等的掩膜来实现。
那么，剪枝到底对性能会有什么影响呢？首先看Inception V3模型的实验中在稀疏性分别为0%，50%，75%，87.5%时的结果。此时模型中非零参数分别是原始模型的1，0.5，0.25，0.128倍，即实现了1，2，4，8倍的压缩。
可以看到，在稀疏性为50%，性能几乎不变。稀疏性为87.5%时，指标下降为2%。
上表展示了MobileNet的实验结果，分别比较更窄的MobileNet和更加稀疏的MobileNet的结果，可以发现稀疏的MobileNet性能明显优于稠密的MobileNet。
75%的Sparse Model比0.5倍宽的Dense Model在top-
1指标上超出了4%，而且模型更小。90%的Sparse Model比0.25倍宽的Dense Model在top-1指标上超出了10%，模型大小相当。
从这里可以看出剪枝真的是一个非常有前途的课题，值得研究。
[1] Zhu M, Gupta S. To prune, or not to prune: exploring the efficacy of pruning for model compression[J]. arXiv preprint arXiv:1710.01878, 2017.
关于更多紧凑模型设计，模型压缩和量化的内容可见。
我们也会分享相关的工具，总结重要概念，不来虚的，都是真干货。
2 如何掌握网络设计和数据使用
关于如何系统性学习网络结构设计和数据使用，可以阅读我们对星球生态的介绍，有三风格的干货，相信你不会失望。
有三AI知识星球的内容非常多，大家可以预览一些内容如下。
以上所有内容
加入有三AI知识星球即可获取
来日方长
点击加入
不见不散