卷积网络压缩中的知识蒸馏综述
人工智能算法与Python大数据
致力于提供深度学习、机器学习、人工智能干货文章，为AI人员提供学习路线以及前沿资讯
22篇原创内容
公众号
点上方人工智能算法与Python大数据获取更多干货
在右上方 ··· 设为星标 ★，第一时间获取资源
仅做学术分享，如有侵权，联系删除
转载于 ：计算机科学与探索，专知
近年来，卷积神经网络（CNN）凭借强大的特征提取和表达能力，在图像分析领域的诸多应用中取得了令人瞩目的成就。但是，CNN性能的不断提升几乎完全得益于网络模型的越来越深和越来越大，在这个情况下，部署完整的CNN往往需要巨大的内存开销和高性能的计算单元（如GPU）支撑，而在计算资源受限的嵌入式设备以及高实时要求的移动终端上，CNN的广泛应用存在局限性。因此，CNN迫切需要网络轻量化。目前解决以上难题的网络压缩和加速途径主要有知识蒸馏、网络剪枝、参数量化、低秩分解、轻量化网络设计等。首先介绍了卷积神经网络的基本结构和发展历程，简述和对比了五种典型的网络压缩基本方法；然后重点针对知识蒸馏方法进行了详细的梳理与总结，并在CIFAR数据集上对不同方法进行了实验对比；其后介绍了知识蒸馏方法目前的评价体系，给出多类型方法的对比分析和评价；最后对该技术未来的拓展研究给出了初步的思考。
http://fcst.ceaj.org/CN/abstract/abstract2907.shtml
---------♥---------
赞 (0)