资源分享 | 知识蒸馏总结、应用与扩展（2015-2019）

---

知识蒸馏示意图

知识蒸馏因为2015年Hinton的著名论文 Distilling the knowledge in a neural network 而被更多人所认知，是模型参数压缩、计算加速的重要方法，尤其在将深度神经网络模型部署到移动端、IOT等边缘设备上时。

在华东师范大学读书的Yuang Liu 同学最近对知识蒸馏方向近几年（2015-2019）进行了技术总结、应用梳理和扩展讨论。作者希望通过52CV平台分享出来供大家参考。

Yuang Liu查考了大量的知识蒸馏的技术文献，并按照以下模块设置对该领域进行了技术梳理：

知识蒸馏的定义：

Knowledge Distillation aims to compress and improve the model by transfering knowledge from deep nets to a small network.

Yuang Liu从三个方向知识蒸馏

对近几年的知识蒸馏方法进行了总结，每部分均有具代表性的论文介绍。

在知识蒸馏应用的部分，作者从GAN、ReID、视频分类、姿态估计、物体姿态回归、BERT（NLP）、车道线检测、语义分割等方向分别列出了代表性论文。

GAN是目前大热的深度学习方向，作者进一步调研了知识蒸馏与GAN的关系：

最后作者从新出的知识蒸馏文献中总结了该领域的挑战和展望。

PDF 资料下载：