自主智能机器人系统中的跨模态学习

机器人作为引领世界未来的颠覆性技术，正在创造新产业新业态，推动社会生产和消费向智能化转变，进而深刻改变人类社会生活、改变世界。论坛围绕机器人行业的创新与发展问题展开探讨，旨在推动机器人技术、产品、业态和模式创新的发展，促进机器人在各行业的深度融合，以此不断改变人类的生产生活方式。

在本次论坛上，德国汉堡大学信息学科学系教授、德国汉堡科学院院士张建伟表示，机器人学习非常重要，它能够应用集成化的知识系统，或充分应用交互式的动态系统去解决新的世界问题。

以下为德国汉堡大学信息学科学系教授、德国汉堡科学院院士张建伟在“机器人发展创新论坛”上的精彩演讲实录，由云现场整理。

我想讲的是德国关于神经科学和机器人学习方面的项目进行合作，人工智能是一个很热门的话题，同时我们想要去找到人工智能跟其他方面，在制造业方面能够有什么用武之地？我们很感兴趣。人工智能方面的论文有一些重点的信息，同时我也被邀请到CCTV的节目做嘉宾，这里我会给出一些重要的任务，现在的棉布识别技术没有办法识别的东西，在实际世界中给出这个图像，让人工智能去识别真实世界中的物体，比如说机器人，这里最好的人工智能系统也没有办法去把这个女孩和他父母的脸部去分辨。而警察同志就能够通过图像，通过他的知识，通过他的经验，成功地去把两位父母识别了出来，这是一个很好的例子。
    我们都知道，在未来这样的智能机器人系统将会基于和新的高科技进行，包括人工智能技术进行融合发展的结果。在这个项目中，一些人工智能相关联的机器人项目也出现了，就像这一个打羽毛球的，和我们最好的羽毛球队员对打的项目。
    羽毛球的冠军打得很好，但是我们能用摄像头来识别出球的方向和速度，还有自动让球拍可以接到球，是用无人机去接的，这个看起来很难，但是可能15年之后，这个机器人就能和实际的人来打球。
    还有打篮球，在打篮球的话，如果这个目标在不断的动，机器人就能够做得很好。但是在第二轮，林书豪来了，和机器人进行竞赛，这是针对一个移动的物体竞赛，这里是人赢过了机器人。它显示了在复杂多动的环境中，我们还要很长的路要走。
    机器人的自动，或者是无人化方面有很长的路要走，比如说我们的导航，还有动静态方面。另外从2D建模要变成3D建模，下一步是语义建模。我们目前对一些小的项目，对小的机器人感兴趣，比如说吸尘器项目，这在深圳这里是比较火的，还有无人机项目，大疆无人机就在深圳。比如说农业机器人，制造业机器人，还有家用机器人方面，还有无人驾驶车方面的重大挑战都可以进行解决。
    在增强学习方面，我们也取得了长足的进展，这个是把它编辑到机器狗里面，这个机器狗的编程有一些结果，就能够进行持续的学习。两个月之前，我也在中国的机器人会议上做主持，那里展示了中国机器人的平台，还有中国社科院一起和浙江大学一起开发的机器人系统，还有沈阳的大学，还有一些自动行使的自行车是由清华大学去开发的。
    这里还有一些机器人竞赛，我在那里和清华大学共同开发了机器人竞赛，使得机器人用这些虚拟系统去识别出强桥障碍，让机器人在三五分钟之内进行决定完成这段路程及完成所有的目标。我两位汉堡的学生也参与了本次竞赛。这个领域有很多长足的发展，在制造业也是。
    上海有一个合作方，他之前也把这个机器人用到机场的视察当中，也把这个机器人用到很多侦查的工作当中，也可以用到对基建设计的维护，同时机器人也可以用于农业当中。这个应用，我们可以把设备连接在一起。这个机器人可以用来运送相应实验的事迹，这个机器人是在20年前就出来了。未来的话，机器人也可以商业化，药厂或者是药工业，能够把机器人商业化出来。
    现在的机器人之前是作为原始阶段，现在用各种传感器或者是多方位的设备捕捉出机器人的各种动作，十年、二十年之后，我们也对移动操控技术方面有长足的进步，我们使得机器人护理人类，同时机器人互相协作服务于人类。我们需要做很多的工作，才能提高机器人的智能。
    未来，人类是能够很好的应用机器系统，做我们不能够做的事情。我相信机器人学习是非常重要，它能够去解决新的世界的问题，应用集成化的知识系统，或者是充分应用交互式的动态系统。Alois Knoll教授也说过了，机器人系统能够通过相应的系统夯实人类的知识，应用到真实的场景当中。如果我们提到了人工智能，很多人觉得AI指的是深度学习，其实深度学习只是5个范畴当中的一方面。这是自下而上的数据驱动的系统，现在我们能够获得很多的数据，也获得了很多的结果。
    现在来了解如何把各种节点连接在一起，同时要找到集成式的、改革性的计算能力去赋能构建强劲的AI系统，这是我们中德合作项目焦点当中的重要项目，把它称之为人类2.0以及机器2.0，这是由中德合资的项目，现在我们是运营到了第3个年头，我们也进行了复盘，我们希望能够准入到下一个4年的发展阶段。
    我们第一个阶段也获得了非常好的估值，这个项目尽可能让生理学家进行合作，进行跨模式的研究。我们现在也有非常多的AI系统、AI感知，比如说传感器也可以做不同程度的感知，同时我们也去做了镭射传感器和自动化的传感器，现在这种传感器还没有装配出来，但是我们可以从人类的认知系统当中或者是人类的视觉系统当中认知很多，把这种系统的能力集成在机器人当中。
    我们有很多的挑战，也有很多的学习架构，如何去解决学习的战略和策略。可以看到，我们针对人类的错误做一些比对的实验，看如何使得整个机器人系统大大减少误差，同时也可以了解到认知以及感知，还有预测。预测非常的重要，可以用预测能力了解到系统是怎样运作的，同时通过预测的系统去避免各种不确定性因素。还有用相应的系统去生成知识，同时把这种知识用到不的应用场景，同时也对数据进行校准，不仅仅是能够听觉的数据，还可以处理视觉的数据等。
    我们之前做了操作系统，能够构建不同的机器人的技能。20多年前我们已经开始了这项工作，但是我们可以用这个实验了解机器人是如何运作和如何装配。很多实验以及研究中心，已经开始应用这种机制来进行研究。我们也构建了交互式的架构，这种架构能够了解到人的语言内涵，最后根据人语言的指令去装配架构。
    目前，我们也运用一些学习的机制，我们把它称之为实验室4.0项目。这种机器人，能够用不一样的学习模式，去做用户界面的操控。
    我们都知道，人类的系统是非常相近的，有些盲人能够感知真正的世界。人类的系统非常奇妙，如果我们能够考虑这种处理的系统，通过不一样的模式了解处理的机制，人类可以用传感器的补偿机制，通过非常复杂的方式去处理。目前来说，我们也去做了这种研究，早期的时候，我们也能够比对整个系统的模式进行比对和研究。
    这个项目我们把它称之为“大脑激发的深度学习”，这个项目也跟清华大学进行合作。这个项目主要针对的是人脑的研究，也能够赋能机器人去完成不一样的项目和任务，我们也可以充分应用多模式的深度学习，我们在此方面也有很多的挑战。
    比如这个蜡烛，很多机器人把它理解为了指甲，目前来说，整个机器人对物体识别方面经常失败，如何去解决机器人认知的问题呢？机器人认知问题是我们需要去解决的下一个问题，我们也执行了各种机制，做了视觉注意和视觉认知的系统。

还有一些跨模式的学习，能够进行更加强劲的认知。同时，这是我们目前聚焦的例子，我们用声音和视觉的信息来去做校准的数据。识别率能够大大提高。
    机器人不仅仅是通过视觉的方式进行行动，还可以通过感知来进行行动。我们也希望大大提高机器人的认知能力。比如说使得机器人能够识别出给我一些东西去喝的指令。
    机器人的行为，也是可以应用到解读图像，这种图像也可以把它转换为语言上的表征，这种模式也可以充分应用到各种操控的任务当中。这个项目，也跟吴教授进行了合作。在韩国，我们在马德里的机器操控项目当中也获得了一等奖。这是我们之前所做的机器人识别物体的任务，也设置了数据组，它是来源于多种模态的学习知识，也来自于不一样的传感器。
    我们用的是感知的手术机器人系统，这种系统也是由深圳的一个团队主要负责。手术机器人有自动化的传感器、声音传感器和视觉传感器，能够对手术过程以及各种器官来进行准确的把控和监测，这是动物的测试实验。这种实验可以告诉大家，手术机器人的整体工作原理。
    最近我们也开发了被动的工作机器人，这个机器人打破了吉尼斯的记录，在敏捷度方面和速度方面。这种机器人能够奔跑40公里的路程，我们用这种机器人去加强整个机器人运动性能，让机器人应对各种振动的情况。
    这是另外一个版本的机器人，之前也是在慕尼黑的大会当中展示了机器人的性能，目前来说，这个机器人将会展示出来，他们将会在上海的进博会公之于世。我们需要有非常多的大脑模型，比如说我们要了解神经的原理，以及记忆的技术。这些模式都是我们希望能够去开发的模型，这也是我们在中德合作项目当中需要去获得的动态模型，我们希望能够从中德项目的模型当中获得更加多的数据，通过中德合作，以及中欧的合作获得更多的数据。
    关于人和机器人的近距离合作，对非常有意思的应用提供一些支持，非常感谢大家的聆听。