基于自监督深度估计的领域自适应语义分割
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
域自适应语义分割的目的是在源域和目标域之间存在分布转移时提高模型的性能。利用来自辅助任务(如深度估计)的监督有可能治愈这种转变，因为许多可视化任务彼此密切相关。然而，这种监督并不总是有效的。在这项工作中，作者利用了自监督深度估计的指导，这在两个领域都是可用的，以弥合领域差距。一方面，作者提出明确学习任务特征相关性，以增强目标深度估计的语义预测能力;另一方面，作者利用从源和目标深度解码器的深度预测差异来近似像素级的自适应困难。然后利用深度推断的适应困难度来细化目标语义切分的伪标签。该方法可以很容易地应用到现有的分割框架中。作者在SYNTHIA-to-Cityscapes和GTA-to-Cityscapes的基准任务上证明了作者提出的方法的有效性，在这两个任务上，作者分别实现了55:0%和56:6%的最新性能。
代码链接：https://github.com/qinenergy/corda
作者的贡献总结如下:
作者提出了一个新的UDA框架，该框架有效地利用了两个领域的自监督深度估计来改进语义分割。
具体来说，作者明确地学习了模式之间的关联，并在各个领域分享它。此外，作者利用深度预测偏差近似的自适应困难度来细化语义伪标签。
尽管简单，作者提出的方法在SYNTHIA-toCityscapes和gta -to cityscapes基准任务上获得了最新的细分性能。
框架结构
作者提出使用自监督深度估计(绿色)来改善语义分割的性能下，无监督的领域自适应设置。作者明确学习了语义和深度之间的任务特征相关性(橙色)，并利用它来改进目标语义。作者利用两个领域特定深度解码器的目标图像深度预测差异近似的自适应困难度(蓝色)来细化目标语义伪标签。所提出的相关感知域自适应方法可以大大提高目标域的分割性能。
本文提出了一种基于关联感知域自适应(CorDA)的网络结构，将任务特征关联模块与基于自适应困难转移的伪标签细化相结合。语义和深度特征通过领域共享特征关联模块进行处理，明确学习它们之间的领域鲁棒相关性，并为其他情态提供补充信息。另外，如图最右侧所示，在训练过程中，根据深度预测差异近似的自适应难度对语义伪标签进行重新加权。
实验结果
基于gta的城市景观语义分割结果
结论
本文提出了一种新的领域自适应语义分割框架，该框架能有效地利用辅助任务的自我监督引导来弥合领域差距。该方法明确学习语义和辅助任务之间的相关性，以便更好地将该领域共享的知识转移到目标领域。为此，使用了一个域共享任务特性关联模块。作者进一步利用自适应困难度，从域深度解码器的预测差异近似，以改进作者的分割预测。通过将作者的方法集成到现有的自我训练框架中，作者在SYNTHIAto-Cityscapes和gta - cityscapes这两个基准任务上实现了最先进的性能。结果验证了作者的动机，并证明了捕获模式之间的相关性对提高语义切分性能的重要性。
论文链接：https://arxiv.org/pdf/2104.13613.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。