【泡泡一分钟】单目机器人视觉中的不可见显著物体发现

每天一分钟，带你读遍机器人顶级会议文章

标题：Unseen Salient Object Discovery for Monocular Robot Vision

作者：Darren M. Chan and Laurel D. Riek

来源：2020 IEEE International Conference on Robotics and Automation (ICRA)

编译：姚潘涛

审核：柴毅，王靖淇

这是泡泡一分钟推送的第 763 篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

机器人学中的一个关键挑战是感知看不见的物体的能力，这可以提高机器人向周围环境学习和适应的能力。一种方法是使用无监督的、显著的对象发现方法，这些方法在计算机视觉文献中已经显示出希望。然而，大多数最先进的方法不适合机器人，因为它们仅限于在发现对象之前处理整个视频片段，这会限制实时感知。为了解决这些问题，我们引入了一种新的、无监督的、显著的目标发现方法，即无监督的目标发现方法，用于单目机器人视觉。我们设计了一种无监督的对象搜寻（UFO），允许它逐帧地发现任意的、显著的对象，这可以帮助机器人进行可伸缩的对象学习。我们将UFO与两种最快、最准确的无监督显著对象发现方法(快速分割和显著感知测地线)进行了比较，结果表明，UFO的速度要快6.5倍，达到了最高的精确度、召回率和准确度。此外，我们的评估表明，UFO对机器人遇到的真实世界感知挑战(包括移动摄像机和移动对象、运动模糊和遮挡)具有很强的鲁棒性。我们的目标是将这项工作与其他机器人感知方法结合使用，设计能够学习新对象概念的机器人，从而提高自主性。

图1 我们的无监督对象发现框架UFO由六个过程组成：a)对象建议生成，b)显著性评分，c)非最大抑制(NMS)，d)特征提取，e)滑动窗口图更新，f)路径选择，g)对象建议预测。

图2 在改进的非最大抑制(MNMS)中，最强的边界框被分配有所有重叠邻居的分数的累积和。

图3 长度为W的滑动窗口图形(显示为绿色)。顶点表示GOP，边表示相似性得分。虚线表示时间t−W+1和t−1之间折点的非相邻结果连接。实线表示框架相邻折点之间的直接连接

图4 描述了图像序列分割掩模到边界框的转换程序。左：原始分段蒙版。中心：绳子被移走了。右图：最终边界框在遮罩周围形成一个周界。

图5 DA VIS 2016数据集中具有挑战性的场景(即绿头鸭-苍蝇)上的对象发现序列示例。我们的结果表明，UFO对动态光照、相机和物体的快速运动具有很强的鲁棒性，这对于依赖光流或运动边界的方法来说是困难的。

表1 使用标准度量(IOU=0.5)比较UFO和两种最新方法对DA VIS的影响。我们报告平均端到端计算时间，单位为秒/帧(t(S))。带有向上箭头的列表示分数越高越好。计算时间越短越好。UFO在计算时间、精度、F分数、准确性和地图方面得分最高。

表2 消融研究结果：当预测和/或NMS组件从管道中移除时，UFO的整体性能会下降。

表3 窗口大小(W)结果的影响：UFO的整体性能随着窗口大小的增加而下降。

表4 UFO中单个系统组件的平均每幅图像计算时间。

图7 成功的(顶行)和不成功的(底行)对象发现实例的示例。青色框显示UFO的输出，洋红色框对应于地面真实对象。

Abstract

A key challenge in robotics is the capability to perceive unseen objects, which can improve a robot’s ability to learn from and adapt to its surroundings. One approach is to employ unsupervised, salient object discovery methods, which have shown promise in the computer vision literature. However, most state-of-the-art methods are unsuitable for robotics because they are limited to processing whole video segments before discovering objects, which can constrain realtime perception. To address these gaps, we introduce Unsupervised Foraging of Objects (UFO), a novel, unsupervised, salient object discovery method designed for monocular robot vision. We designed UFO with a parallel discover-prediction paradigm, permitting it to discover arbitrary, salient objects on a frame-by-frame basis, which can help robots to engage in scalable object learning. We compared UFO to the two fastest and most accurate methods for unsupervised salient object discovery (Fast Segmentation and Saliency-Aware Geodesic), and show that UFO 6.5 times faster, achieving state-of-theart precision, recall, and accuracy. Furthermore our evaluation suggests that UFO is robust to real-world perception challenges encountered by robots, including moving cameras and moving objects, motion blur, and occlusion. It is our goal that this work will be used with other robot perception methods, to design robots that can learn novel object concepts, leading to improved autonomy.