RepVGG：让VGG网络再次变成最优秀的网络
点击上方“深度学习爱好者”，选择加"星标"或“置顶”
重磅干货，第一时间送达
小白导读
论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
我们提出了一个简单但功能强大的卷积神经网络体系结构，它有一个类似vg的inferencetime的主体，只有一个由3个3卷积和ReLU组成的堆栈，而训练时间模型具有多分支拓扑。这种训练时间和推理时间体系结构的解耦是通过一种结构再参数化技术实现的，因此该模型被命名为RepVGG。在ImageNet上，RepVGG达到了80%以上的top-1精度，据我们所知，这是第一次为普通模型。在NVIDIA 1080Ti GPU上，RepVGG模型的运行速度比ResNet-50快83%，比ResNet-101快101%，且具有更高的精度，与最先进的模型(如EfficientNet和RegNet)相比，显示出良好的精度-速度平衡。
开源代码：https://github.com/megvii-model/RepVGG
作者的贡献总结如下。
作者提出了RepVGG，一种简单的架构，与最先进的技术相比，具有良好的速度-精度平衡。
作者提出使用结构重新参数化来解耦训练时间多分支拓扑和推理时间纯结构。
作者已经证明了RepVGG在图像分类和语义分割方面的有效性，以及实现的效率和易用性。
RepVGG结构草图。RepVGG分为5个阶段，在阶段开始时通过stride-2卷积进行下行采样。这里我们只展示了一个特定阶段的前4层。受ResNet的启发，作者也使用identity和11分支，但只用于培训
残差模型和普通模型的峰值内存占用。如果剩余块保持feature map的大小，则feature map占用内存的峰值为2×作为输入。与被忽略的特征相比，模型参数所占用的内存很小
RepVGG区块结构的再参数化。为了便于显示，作者假设C2 = C1 = 2，那么3×3层有4个3×3矩阵，1×1层的核是一个2×2矩阵
在ImageNet上通过简单的数据增强训练了120个epochs的RepVGG模型和基线。
RepVGG模型和基线用Autoaugmen训练了200个epochs
在验证子集上测试了Cityscapes上的语义分割。在相同的1080Ti GPU上，以批量大小为16、全精度(fp32)和输入分辨率为713 713测试速度(示例/秒)
RepVGG模型是快速、简单和实用的卷积网络，为GPU和专用硬件上的最大速度而设计，较少考虑参数数量或理论故障。尽管RepVGG模型比ResNets更具参数效率，但在低功耗设备上，它们可能不如MobileNets和ShuffleNets等移动管理模型受欢迎。
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。