可以救你一命的「以色列爬行机器人」，改变自身形状及重心位置来越障！
导读
以色列本·古里安大学的研究人员新开发了一款可变形的爬行机器人RSTAR（Rising Sprawl Tuned Autonomous Robot），利用强化学习赋予其克服障碍在各种地形上爬行的能力。该机器人的开发，极大降低了应急人员在灾区搜索救援时操作机器人的难度，其主动学习改变自身结构以适应不同环境，不再需要训练有素的应急人员同时进行多个作动器的操作，这也使得搜索救援效率大大提高。实验表明，RSTAR可以通过主动改变自身形状及重心位置以完美适应不同障碍物。相关研究成果已经发表在2020年期刊《IEEE Access》上。
可变形的机器人RSTAR
可变形的机器人RSTAR（Rising Sprawl Tuned Autonomous Robot）是以色列本·古里安大学的研究人员新近开发的一种爬行机器人。其可以改变自身形状、移动质心位置，这些功能赋予了RSTAR极强的鲁棒性，增强了其克服障碍和在各种地形上爬行的能力，从而适用于各种应用。RSTAR尺寸并不大，其与在灾区使用的大型搜索和救援地面机器人相比具有许多优势。
6足掌上地面机器人
掌上型搜索和救援地面机器人可以爬行、奔跑和越过障碍物。它们可以大量部署，以侦察广阔的区域，同时使操作人员免受伤害。它们重量轻、体积小对许多任务至关重要。但是，这些功能使它们的可操作性复杂化，在现实环境中运动仍然是一个挑战。
8足掌上地面机器人
因为不同的机构经常需要同时配合作动，所以远程操作像RSTAR这样的可变形机器人需要训练有素的操作员。然而在许多应用中，必须通过机器人自主操作减少人为干预。一种方法是教机器人自动执行常见操作任务。在越野情况中，这些任务包括越过障碍物以及在障碍物周围或下方移动。机器学习，特别是强化学习（RL），可用于教机器人如何通过在物理或模拟环境中运行重复性实验来离线执行此类操作。
RSTAR机器人
克服障碍（例如爬上或躲在下面）而不是躲避障碍可以实现更有效的行动，在某些情况下对于完成任务至关重要。具有这种功能的机器人通常需要复杂的自由度协调才能执行运动。在没有初步解决方案的情况下接触障碍物（尤其是越过机器人机械极限的障碍物）极具挑战性。成功的运动规划必须依据机器人的动态能力为基础，进而提供一条可行的路径。这种轨迹的自主学习需要考虑复杂的动态因素。迄今为止，很少有项目能够成功应对这一挑战。
以色列本·古里安大学的研究人员开发了RSTAR机器人，它是一种手掌大小的搜救地面机器人。该机器人的特征在于它具有旋转车轮轴线的能力。RSTAR配备有横臂（可倾斜车轮的旋转轴）和四个杆延伸机构。它可以更改其高度、宽度和长度，并移动其质心位置，这大大增强了RSTAR克服障碍并穿越各种地形的能力。
RSTAR机器人变形示意图
RSTAR机器人的独特设计使其使用相对较少的执行器就具有很高的可操纵性。这使其解决方案搜索空间（更多）易于管理。RSTAR的固有稳定性及其解耦的自由度（机械装置和车轮实际上可以独立操纵）允许具有相对较大公差的控制策略。这使得可以使用简单得多的离散RL方法。它还提高了对动力学建模中小的差异的解决方案的鲁棒性，从而增强了解决方案向物理世界的可传递性。
RSTAR机器人独立自由度示意图
以色列本·古里安大学的研究人员展示了如何使用强化学习来确定克服三个典型障碍的最佳策略：挤过两个相邻的障碍，躲在障碍下面和爬过障碍。结果表明，利用Q学习算法，在所有情况下均成功绘制了一条可行的轨迹。将算法找到的轨迹与具有离散或连续控制的12位人类专家设计的轨迹进行比较，结果表明算法轨迹比专家轨迹短。相关研究成果已在国际期刊《IEEE Access》上发表。
RSTAR机器人
控制策略
在驱动机构方面，RSTAR具有差速驱动机构，其中的每一侧均由单个电动机驱动。为了提高稳定性并减少能耗，RSTAR可以安装有轮子或辐条支腿或两者的组合，从而使其能够更好地适应不同的地形。圆轮主要适用于光滑表面，而辐条轮在非结构化环境中效率更高。RSTAR可以颠倒车身，并使用动态操纵来倒转驾驶，以改变与地面接触的车轮类型。
RSTAR控制系统部件组成
RSTAR可以由操作员（直接模式）或微控制器（程序模式）控制。在程序模式下，可以对机器人进行编程以执行连续的一组动作。组态机构（sprawl和FBEM）通过角度电位计在闭环中进行控制，而车轮的驱动电机通过磁编码器在闭环中进行控制。控制系统的主要组件如上图所示。
Q学习算法流程图
Q学习算法流程如上图所示。学习的迭代过程为：RSTAR观察其状态，执行动作，并获得奖励，它的下一个状态由环境产生，最后，相关动作正确的Q值被更新。
任务a：通过狭窄通道
任务b：躲在障碍物下面
任务c：上面越过障碍物
针对三种不同障碍情况，研究人员进行了仿真及实验。三种障碍情况分别为：通过狭窄的通道、在障碍物下方躲避以及在障碍物上方攀爬。
应对三种障碍情况开始学习过程
仿真结果表明，RSTAR可以顺利克服以上三种障碍情况。
实验结果表明，RSTAR可以克服具有不同几何形状的类似障碍物。例如，通过的狭窄通道宽度为180毫米，但也适用于164毫米宽的较窄通道。事实证明，攀爬50毫米障碍物的相同顺序可兼容较低高度的台阶。
任务a实验结果
为了越过障碍，该算法提供了具有不同数量动作的多个解决方案。对这些解决方案的分析表明，更多的动作适合越过更高的障碍物。例如，模拟机器人以24个动作爬上了50毫米的台阶，并以27个动作爬上了55毫米的台阶。该结果也在实验中得到验证。
任务b实验结果
任务c实验结果
攀登案例特别具有挑战性。尽管该算法对RSTAR的运动学或障碍物没有先验知识，但它产生了机械智能的结果，可用于爬上台阶。结果包括向后移动重心，然后向前移动重心，并更改其自身高度以克服障碍。
总结与展望
研究人员将Q学习算法应用于可重配置的机器人自主学习，以克服三个典型的障碍案例。这些案例包括：通过狭窄的通道、在障碍物下方躲避以及在障碍物上方攀爬。研究人员对所有自由度使用统一的离散化，足以找到每个问题的解决方案。机器人成功克服障碍会得到奖励反馈，但未受到指示如何克服障碍。将机器人放置在模拟环境中进行实验，并对其进行了预编程以执行学习到的一组动作。在没有人工干预的情况下，实验结果表明RSTAR首次尝试成功克服了所有三个障碍。
更好的离散化可能会导致更好的结果。但是，更好的离散化将需要更长的学习时间。未来的工作将包括离散化的优劣之间的平衡优化选择。
文献信息
1.Yehezkel L, Berman S, Zarrouk D. OvercomingObstacles with a Reconfigurable Robot Using Reinforcement Learning[J]. IEEEAccess, 2020.
2. Hoover A M, Burden S, Fu X Y, et al. Bio-inspireddesign and dynamic maneuverability of a minimally actuated six-leggedrobot[C]//2010 3rd IEEE RAS & EMBS International Conference on BiomedicalRobotics and Biomechatronics. IEEE, 2010: 869-876.
3. Pullin A O, Kohut N J, Zarrouk D, et al. Dynamicturning of 13 cm robot comparing tail and differential drive[C]//2012 IEEEInternational Conference on Robotics and Automation. IEEE, 2012: 5086-5093.
加入社群
加入社群
机器人大讲堂Rob社群开始招募啦！如果您正在从事或想要从事机器人行业、想要学习这一方向，都欢迎您加入我们共同探讨机器人前沿科技。
另外，腿足机器人、医疗机器人、工业机器人、特种机器人等专业讨论群正在招募中，欢迎各位专业领域的小伙伴加入。