多视图立体几何（Multi-view Stereo, MVS）是一种很经典的三维重建方法，旨在从多视角图像中恢复场景的三维信息。近年来，越来越多的工作开始将深度学习与传统的多视图立体几何方法结合，以提升三维重建的精度，如MVSNet、R-MVSNet等。尽管深度学习的强大表征能力可以带来显著的性能提升，但是其对于数据的依赖却十分严重，需要大量的数据以及Ground Truth来训练神经网络。在现实场景下，三维的Ground Truth较难获取，采集标注成本很高，给基于深度学习的三维重建带来了不小的困难。在这次分享中，我们邀请到了来自华南理工大学的许鸿斌，为我们介绍他团队在AAAI 2021上的工作Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation。此前的自监督三维重建方法都是基于颜色一致性假设，即匹配点具有相同的颜色。然而这一假设在自然场景下却难以成立，因为不同视角图像之间天然存在的光照差异等干扰，导致匹配点间具有不同的颜色。这可能会导致自监督信号失效，无法有效地起到监督作用，我们称其为颜色一致性歧义问题。针对这一问题，他们团队在自监督训练框架中引入协同分割和数据增强策略：通过协同分割挖掘多视角之间的共有抽象语义，并设计了一个语义一致性损失；通过将自监督训练拓展为双阶段，引入数据增强一致性损失。在极市平台公众号后台回复“76”或“许鸿斌”即可获取PPT下载地址~
极市直播｜AAAI'21杰出论文许鸿斌：一个解决三维重建对数据依赖的新框架（已开源）
➤论文地址
Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation
论文地址：
https://www.aaai.org/AAAI21Papers/AAAI-2549.XuH.pdf
1、背景知识（基于深度学习的MVS方法，自监督的MVS方法）
2、存在的核心问题（颜色一致性歧义问题）
3、我们的方法（基于协同分割与数据增强的自监督训练框架）
4、实验分析
5、总结与展望
➤回放视频在这里☟（建议在pc端观看）
➤部分PPT截图
