旷视张祥雨:神经网络架构设计新思路
神经网络架构搜索中存在一个有趣的现象,即搜索空间中不同模型的收敛速度与最终性能之间常常存在正相关关系,据此我们可以不基于准确率、而是基于收敛速度去判断子结构的优劣,从而实现高效搜索;
隐式模型有低参数量、强表示能力、大感受野等优点,这对设计通用模型结构可以带来很多启发;
重参数化则是一种应用技巧,可以让模型的训练和推理更加高效。
基于收敛速度指标的神经网络架构搜索算法
隐式模型
重参数化模型
赞 (0)
神经网络架构搜索中存在一个有趣的现象,即搜索空间中不同模型的收敛速度与最终性能之间常常存在正相关关系,据此我们可以不基于准确率、而是基于收敛速度去判断子结构的优劣,从而实现高效搜索;
隐式模型有低参数量、强表示能力、大感受野等优点,这对设计通用模型结构可以带来很多启发;
重参数化则是一种应用技巧,可以让模型的训练和推理更加高效。
基于收敛速度指标的神经网络架构搜索算法
隐式模型
重参数化模型