冰箱取物、制作苹果派，美国莱斯大学博士让机器人学习潜在动作完成不同任务

导读

Affordance理论在21世纪初被引入到发育机器人领域,被描述为“潜在动作”。潜在动作建立了机器人和环境之间可能的动作关联,它由当前任务、机器人自身的能力和环境的本质属性共同决定。机器人的感知目标不再是物体的颜色、形状等特征,而是“可抓取、可推动”等动作属性。潜在动作研究的重点是学习机器人和环境之间可能的动作关联,应用它们来完成不同的任务,并且在执行任务的过程中不断提升机器人的感知、行为和学习等能力。

作者：长安

让我们先来看一段美国莱斯大学Dylan Losey博士近日在youtobu上发布的对于最新研究成果，利用学习潜在动作辅助控制机器人的介绍视频：

对于世界上将近十亿的肢体残疾的人来说，咬一口食物或倒一杯水是一个巨大的挑战。辅助控制机器人（如安装在轮椅上的机器人手臂）有望解决此问题。用户通过与操纵杆互动来控制这些机器人，引导机器人手臂完成日常任务，而无需依靠人工。不幸的是，使这些手臂有用的非常灵巧也使用户难以控制它们。美国莱斯大学Dylan Losey博士等人提出，通过学习直观而有意义的控制映射，我们可以使辅助机器人更容易被人类控制，该映射将简单的操纵杆运动转化为复杂的机器人行为。

控制机械臂进行冰箱取物

用户试图控制他们的辅助机械臂抓一些食物。在此过程中，它具有许多自由度（DoF），并且用户需要协调所有这些相互关联的DoF来完成任务。在实践中，由于从低维人类输入到高维机器人动作的直观映射，控制辅助机械臂可能非常困难的。并且通常人必须多次切换控制模式才能完成简单的任务。Dylan Losey博士说：我们设想了一种辅助机器人可以访问与任务相关的演示的环境，这些演示可以由看护者或者用户提供，甚至可以收集在另一个机器人上，重要的是，这些演示向机器人展示了机器人在相关情况下应采取的高维度动作。

高维到达和倒入运动的运动学演示

一旦机器人可以访问这些演示，它将学习低维嵌入，该嵌入可以在不同的演示行为之间进行插值，并使用户可以沿着与任务相关的动作来引导手臂。这种嵌入捕获了一组连续的行为，并允许用户通过移动操纵杆来控制和插补这些机器人运动。受当今用户在控制辅助机械臂时遇到的困难的启发，Dylan Losey博士等人提出了一种直接从数据中学习远程操作策略的方法。

高维机器人动作通常可以嵌入到直观的，人为控制的低维潜在空间中，可以将潜在空间视为捕获数据最重要方面的流形（例如，如果数据是矩阵，则潜在空间可能是该矩阵的前几个特征向量）。首先将直观和人为控制的潜在空间必须满足的属性列表形式化，并评估不同的自动编码器模型如何捕获这些属性。

自我监督的方式学习非线性低维嵌入

最后，Dylan Losey博士在机械臂上进行了两个用户的研究，来比较我们的潜在动作方法与最新的共享自治基线和直接末端执行器遥控操作。参与者在利用我们的潜在动作时可以更快，更高效地完成辅助喂养和烹饪任务，并且还说，潜在动作使任务更易于执行。

任务一：用户控制机器人拿起一个鸡蛋容器，将鸡蛋放入碗中，然后将该容器放回架子，直接遥控操作花费99秒，而潜在动作方法只需44s。

添加鸡蛋任务

任务二：用户使机器人拿起一个装面粉容器，将一些面粉倒入碗中，然后将面粉容器放回架子，直接遥控操作花费253秒，而潜在动作方法花费45s。

添加面粉任务

任务三：用户指导机器人拿起苹果，将其放入碗中，然后搅拌混合物。你可以注意到的是，在直接遥控下，苹果处在机器人工作空间的极限处，从而不得不寻找其他方向来抓苹果，而潜在动作方法则可以一次性进行抓取，直接遥控操作花费140秒，而潜在动作方法只需61s。

添加苹果任务

在整个制作苹果派的任务中利用潜在动作的方法只需花费2分钟是直接遥控方法的三倍多，大大提高了其辅助效率，并且极大情况下减小了控制难度，使用户更轻松地控制辅助机械臂，总体而言，这项工作是迈向可与人类用户无缝协作并了解其人类用户的辅助机器人的一大步。

END