UC伯克利让莱卡狗学习动物敏捷运动，更轻松实现转身跳步小跑

众所周知，动物可以灵活敏捷的穿越复杂的环境，甚至人们常说猫是液体。

在机器人技术中，重现这样的敏捷行为一直是较大的挑战。尽管手动设计的控制器已经能够使机器人模拟许多复杂的行为，但是构建这样的控制器不仅涉及到十分耗时且困难的开发过程，而且通常还需要掌握每种技能相关的大量专业知识。强化学习为自动化控制器开发提供了一种更好的选择，但是，这依然可能需要大量专门技能知识储备，想让机器人可以像真正的动物一样灵活运动始终是个难题。人们不禁会问：是否可以通过让机器人直接模仿动物运动，从而更轻松实现机器人敏捷运动控制呢？

美国加州大学伯克利分校的研究团队近期的研究提供了一个模仿学习系统，该系统使腿式机器人可以通过模仿真实世界的动物的运动来学习敏捷的运动技能。该研究团队证明通过利用真实世界动物运动的参考运动数据，利用一种基于学习的方法能使腿式机器人实现像动物一样的敏捷运动。

该团队提出了一个通过模仿真实动物来学习机器人运动技能的框架。给定录制的动物（例如狗）参考运动数据，该框架使用强化学习来训练控制策略，使机器人能够模仿现实世界中的运动。然后，通过简单地为系统提供不同的参考运动，就可以用来训练腿式机器人来执行各种敏捷行为，包括从快速步态到动态跳步和转弯。这些策略主要在模拟中进行训练，然后使用潜在空间自适应技术转移到现实世界中。

该系统框架包括三个主要部分：运动重新定向，运动模仿和领域适应。

1）首先，给定参考运动，运动重新定向阶段会将运动从原始动物的形态映射到机器人的形态。

要想让机器人可以模仿动物的运动，首先要让机器人知道动物和自己身体部分的对应关系，才能将动物的动作映射到机器人的身体上。运动重新定向阶段的目标是为机器人构造参考运动，以捕获动物运动的重要特征。为此，需要先确定动物身体上的一组源关键点，例如臀部和脚。然后，在机器人的身体上指定相应的目标关键点。

2）接下来，运动模仿阶段使用重新定向的参考运动来训练用于模拟运动的策略。但是强化学习算法要花很长时间才能学习有效的策略，直接在真实机器人上进行训练可能非常危险（对机器人及其人类同伴而言）。因此，该系统框架改为在模拟环境中执行大多数训练。

3）最后，领域自适应阶段通过使用更高效的样本自适应技术将前面学习到的运动策略转移到现实世界中的机器人上。

该团体应用此框架令Laikago四足机器人学习各种敏捷运动技能，机器人实现了小跑、跳步以及回头转圈的运动，仿佛是真实的动物一样。但是，由于硬件和算法的限制，使得该机器人无法学习更多的动态行为，例如大的跳跃和奔跑。探索能够在现实世界中重现这些行为的技术可以显着提高腿式机器人的敏捷性。此外，这些学习型控制器的鲁棒性提高对于更复杂的实际应用将非常有价值。

作者信息：作者Xue Bin (Jason) Peng目前于美国加州大学伯克利分校就读博士研究生，师从SergeyLevine 教授和Pieter Abbeel教授。硕士毕业于不列颠哥伦比亚大学，师从Michiel van de Panne教授。其研究在于计算机图形学和机器学习之间的交集，重点是对模拟角色的运动控制进行强化学习。

论文来源：https://arxiv.org/abs/2004.00784

END