快意天才北京大学教授。现任北京大学深圳研究生院科研处处长、智能机器人开放实验室主任。现任全国智能机器人创新联盟副理事长，深圳市政协委员。国家“十三五”重点研发计划“智能机器人”总体组专家、国家“中青年科技创新领军人才”。先后承担20 余项国家“863”“973”课题和国家自然科学基金等重要科研项目。获国家航天科技进步奖、吴文俊人工智能科学技术奖、日内瓦国际发明博览会奖、CAAI 最佳青年科技成果奖等荣誉。

　　9月17日，刘宏教授在以“科技感知未来”为主题的2020西安全球硬科技创新大会智能感知与理解技术发展峰会上发表主旨演讲。演讲题目为：面向智能导购机器人的场景感知与行为理解。以下是演讲实录：

　　尊敬的领导、各位朋友，我是北京大学的刘宏，非常高兴参加今天西安硬科技大会，智能感知与理解技术发展峰会，今天跟大家交流的题目叫做《面向智能导购机器人的场景感知与行为理解》，主要分享三个内容：

　　一、服务机器人与新一代人工智能，新一代人工智能这几年很热，服务机器人能够做什么，能够做什么样的结果？

　　二、我们把服务机器人和新一代人工智能结合运用到一个领域，智能导购机器人系统。

　　机器人到底是什么？机器人的本质是人类工具发展的最高形态，过去一万年当中人类社会经过了物质工具革命、能量工具革命和信息工具革命，而今天所面临的是物质能量信息高度融合所形成的三元工具。

　　大家想一想计算机是什么呢？它是物质工具，同时它能运作，受信息控制、智慧控制，安全、高效，在复杂的环境下完成作业和交互，因此机器人是高度融合的三元工具，是人类工具发展的最高形态。

　　从这个意义上讲机器人是不是非常重要，刚才我们说了我在科技部智能机器人重点专项的专家组里为大家工作，我们的专家组把机器人分为三大类：一类是工业机器人，一类是服务机器人，一类叫做特种机器人，为什么要这样划分呢？所谓的工业机器人就是为生产服务的，所谓的服务机器人是为我们日常生活服务的，而特种机器人介于两者之间，本身是一个功能很强大的、价格非常高昂的机器人系统，但是又不是我们日常生活当中经常用到的，比如说抗震、救灾、抢险、救助等等。

　　三大机器人产业领域当中未来的机器人发展向哪个方向去拓展，这是我们今天想要跟大家交流的第一个问题。西方工业生产线上最大限度用机器人代替，但是家务劳作、照顾老人，陪伴青少年学习，扫地、做饭等等呢。那么在家用机器人当中大家感触最多的是扫地机器人，应该说基本上40%的家庭已经用起来了。

　　有没有一款机器人真正走入千家万户呢？其中非常重要的原因就在于我们对家用机器人的期望太多了，希望它能够做各种各样的家务劳动，但是价位预期又很低，希望能比智能手机贵一点，万八千块钱就够了。所以说加载在家用机器人身上的有很多是过分的需求、伪需求，同时价位又要低就导致家用机器人很难真正走进千家万户。

　　机会在哪里呢？我们做了系统分析，我们发现公共服务机器人是机器人发展的方向，为什么呢？因为家用机器人是没有岗位的，家里的爷爷、奶奶、父亲、母亲没有一个岗位是能被替代的，自然我们这个机器人就卖不出价格。而公共服务领域比如说酒店前台、网吧前台、政务接待等等需要一定的形象、时间，这样的岗位工作人员要求很高，劳动强调也很大，但是收益并不高，这样的岗位就叫公共服务岗位。

　　这些岗位机器人为什么能卖出钱来呢？比方这个酒店前台8小时工作制的线个机器人在值班，这就是我们公共服务机器人能施展自己能力的一个非常重要的岗位。我们经过分析发现，为什么到今天为止服务机器人没有走进千家万户很重要的一点是价格问题、岗位问题，还有更重要的一点是跟人工智能结合远远不够。

　　大家知道前两年我们国家提出来新一代人工智能，2017年7月，距离现在3年时间，为什么新一代呢？新在哪里？如果过去的人工智能已经足够好了、足够成熟了，应该跟机器人结合的很好，应该已经走进千家万户了，为什么没有实现？这就是我们面临的非常大的一个困惑和挑战。

　　我们新一代的人工智能还需要60年吗？既然第一代搞了60年，新一代我们还需要另外一个60年吗？这个问题我们也做了一个系统调研和分析，我们认为服务机器人是可以和新一代人工智能很好结合的。

　　那么新一代人工智能的关键词是什么呢？大数据智能，有一个大字，跨媒体智能、跨媒体感知、人机混合智能、群体智能，有个群字，自主协同与决策。大家看那几个红字：大、跨、混、群、协，到底新在哪？就是以多取胜，冗余容错。

　　某一个感知渠道获得信息发生错误的时候，我们其它的模块、其它的通道可以弥补、挽救，这就是冗余容错。为什么允许以多取胜呢？因为今天的数据处理能力大幅度提高了，今天的机器学习能力大幅提高了，新一代人工智能的基础，传感、传输、处理、学习能力的飞跃，是我们今天服务机器人所带来的革命变化。

　　这是我们简单的归纳，有了这之后就可以很好用在公共服务机器人上了，比如说跟大、跨、混、群、协连接起来，形成大数据，视觉、听觉、距离、自然语言、视频等等，所有的模块、所有的通道都能提供有效的人机交互。

　　混合增强智能，为什么强调混合增强智能呢？就是跟无人机合作，我们今天的机器人达不到真正的人工智能，今天的人工智能也达不到通用人工智能的水平。那么机器人和人工智能结合以后是不是理想的呢？仍然不够理想。也就是说我们今天的人工智能和机器人的结合虽然可用，但是对问题的解决是不完美的、是不完备的。

　　如何把这个问题答案变得更完备、更完美呢？人机合作、人机混合，叫混合增强智能，也就是说擅长机器人做的事，机器人完成，当百分之几任务机器人无法应对的时候自动切换到人工智能，满足用户需求，机器人在旁边学习，逐渐提高机器人的能力，逐渐减少人的服务，从而提高系统的智能化。这里面不仅仅是机器人之间的协作，人与机器人之间的协作，更重要的是人机环境之间共同的协作，从而造成智能空间的改革。

　　这是服务机器人与新一代人工智能结合的结果，可以看到有前台移动服务机器人，后台的服务器、各种各样的传感器，以及后台的人机协作。

　　服务机器人和新一代人工智能结合以后会产生什么变化呢？会带来什么样新的局面呢？这也是我们追求的目标，也就是公共服务机器人长人样，怎么长呢？现在很多在做仿真机器人，怎么仿也很生硬，比如我们团队做的长人样机器人到底像不像人；再一个说人话，百度有个语音播放功能，它可以找一个机器人把语音故事等等完整读下来，但听起来仍然是机器合成声，办人事就是理解意图，对象分析，柜台操作，辅助移动。

　　这就是我们的应用聚焦，新一代人工智能和公共服务机器人结合以后一个实验平台，叫智能导购机器人。为什么研究智能导购呢？便利店很多、超市很多，现在便利店和超市的服务竞争越来越剧烈，便利店和超市这种国际化的东西，全世界每个角落都有超市和便利店，像我们深圳就有6千多家便利店遍布在全市的各个角落。

　　因此智能导购机器人是非常具有规模的产业形态，这样面临的就是行业竞争越来越大。但是现在客户消费水平提高了，环境的要求也提高了，资源的投入越来越大，对环境的要求越来越大，同时人力资源成本也越来越高，我们深圳考察了很多的便利店，基本上都是四五千块钱的月收入，三班倒，每人八个小时，算下来差不多20万的人力资源成本，对于30多平米的便利店来说是非常大的资本。

　　基于这个背景无人便利店应用而生，得到了国内外很多著名机构、公司的关注，亚马逊也搞了Amazon Go，国内我们有阿里智能便利店，京东智能便利店等等。这些便利店前两三年曾经火过一段，为什么最近好象有点销声匿迹呢？

　　我们也做了系统分析，发现重要的原因就是目前的无人便利店门槛太高，便利店的建造、改造往往需要几十万的成本，针对于一个传统的小店来说，改造起来难度非常大。

　　再一个用户体验非常差，很多无人便利店我走到门口以后，我不想扫那个码，不想填那个信息，不想成为它的会员，我就是顺便拿一瓶饮料走的事，为什么要花那么长时间填那么多信息成为它的会员呢？还有一点无人职守、无人服务，冷冰冰的开着空调，没有任何服务，有任何问题的时候没人打理，这也是不好的用户感受。

　　还有丢失的问题，其实有很多无人便利店防伪磁条、跳马等等这些是防君子不防小人的，因此这些无人便利店面临的局限，这也是过去一两年昙花一现的原因。

　　这里面深层次的就是过分依赖信息技术，APP、跳马、磁条、称重、网络等等，对信息技术过于依赖，真正和人工智能接合部够，像我们说的长人样、说人话、办人事远远达不到，和传统人工智能技术的结合，因为人工智能技术本身并不完美，如果有若干个环节，每个环节99%，逻辑错误惊人。

　　针对这个背景，我们团队结合了新一代人工智能技术和公共服务机器人的需求，我们也做了很多积极尝试。其实我们并不是说真正做无人便利店，而是希望利用一个平台把我们自己的技术集成下去，就是说顶天立地，我们做了服务研究工作，四有应用这是顶天，然后不断落地，但是地一直落不稳。

　　我们就想能不能搞个自留地，把所有技术高度集成融合在一起，让它变得更为实用、更为落地，也就是在我们的自留地当中生产高质量的产品，然后再去推广、应用，再让别人去模仿，这是我们团队做这件事情的基本出发点。

　　今天的主题：环境的感知和行为理解，这个环境是非常适合于它这个话题的。因为只要进一个顾客我们超市环境就会发生变化，无人的超市就变成有人的超市、多人的超市，每拿一件商品环境就发生变化，多人拿多件商品环境就发生实时变化，甚至顾客不拿走商品换个地方仍然是环境的一次改变，更为重要的是用户的每一个行为都可能是和我们的销售密切相关的，用户拿走了一件商品，藏起来一件商品，拿错了一件商品，放错了一件商品，每个细微末节的动作都是我们人体分析非常精细的环节，因此它是我们今天环境感知和行为理解非常重要的应用场所。

　　我们看几个例子，这里面是我们这个智能超市几条录像，左上角大图人体动作的骨架提取，右上角是人体行为分析，每个细微动作通过骨架自动提取、自动分析。这是我们的一个实验室同学，她进场的时候没有扫码的过程，没有APP下载，交互的过程，而是进来就拿，拿完就走，只有一个动作就是扫码结账，因此这个过程是最为自然的，最为友好的交互过程。

　　这里是一个女生购物场景，同样我们做了人体运动的骨架提取和行为分析，这里面我们做了混合增强智能，比方说如果你要是不喜欢手机结账，你用现金结账的时候，这种情况下就会切换到后台人工服务，监督你把钱付了，把零钱找了。

　　下一页我们再看一个有趣的例子，这个例子是跟我们的行为分析结合更紧密了，这个男生背个包去的，买了一大包薯片，或者拿着不方便，直接就塞包里。

　　这种行为在超市其实是不允许的，如果你要是出门不结账就是偷盗行为，这种行为在集群的骨架就变成了非常自然、非常友好的行为，大家看看这个同学到门口来结账了。这个过程都是自动完成的，所有的商品统计、识别、然后记账，包括最后收费的过程。

　　大家看左上角那个就是男生拿的第一份商品，大包的薯片，放在包里是没有问题的，实现了导购和防盗的功能统一，你放在帽子里面、兜里面、包里面都没有问题，都可以实现自动结账，它也是新一代人工智能购物大数据分析的基础上所形成的一个实用的方法。

　　还有一个录像大家看看，正常行为和异常行为对比，什么是正常购物，什么是异常购物。我们看看这个女生购物行为很异常，她已经拿了一件商品，继续行走，选择第二件商品是个饮料，可能深圳比较热，她就把饮料顺手打开了。想喝点，感觉是不是太甜了，女孩子都是想减肥。当然这是我们模拟的一个实验，她故意把这个饮料藏在一个角落里，然后跑过来结账了。

　　我们看看第二件商品2块5，这瓶饮料已经记录在账上了，她结账，这就是正常行为和异常行为的建模。因为时间关系我们就不再详细给大家再展示了，多人购物已经可以非常自如的应对。

　　那么讲到这大家看到的都是丰富的场景视频，这里面有多少学问可以做呢？我可以告诉大家，我把它理解为小铺子里的大学问，这几年围绕着这个实验平台我们发表了若干篇有价值的学术论文，这里面包括TASLP、TCSVT、TMM、TIP等等。

　　虽然是一个小超市，但是我们把新一代人工智能和公共服务机器人紧密结合起来，从关键性能和指标来看应该是国际上最流行的无人便利店相比还是有我们的特色，有领先之处。

　　1）机器换人，减员增效，可以节省岗位、可以节省人力资源成本，因此更有市场。

　　2）拒绝APP、自由进出，进门就拿，拿完就走，只有一个扫码功能，当然如果你不扫码，想赖帐的话，我们的门会自动关上，而且还会切换到后台，人工跟你交互，如果有不速之客会有工作人员现场跟你交涉。

　　3）尊重顾客、智能防盗，那个男生把薯片放到包里，这种场景很常见，以后再去超市购物时，出门时不用把袋子商品一件一件拿出来，不用一件一件扫码、一件一件付费了，所有过程都由我们的智能导购机器人自动完成。

　　4）无人超市，有“人”服务，这个人是加引号的，它是个虚拟的VR机器人。我放一段录像大家欣赏一下，这里面我们看到一个女孩，是我们实验室的一个工程师坐在便利店里面在跟大家交流。当你有任何问题的时候，她会跟你讲解，耐心的为你提供信息服务。那么我们在看的这个录像她有各种各样的动作，大家注意到了没有，是不是感觉这个女孩在线跟你交流呢？

　　其实不然，其实这段录像是由几百几千万小的视频段智能组合构成，当你有问题的时候，我们自动把那个视频段调动出来，无缝拼接在一起，从而形成一个在线服务的感觉。我们感觉这个女孩服务是不是长人样，是不是说人话、办人事呀，这就是我们所谓的新一代智能服务机器人，智能导购机器人，最重要的一个人机界面。

　　5）节约成本，方便安装，这套系统对传统便利店的改造非常简单，只要你有一台计算机、摄像机就可以完成升级改造了，而不需要像前两年很多公司搞的高门槛、高成本、低回报，我们这个由传统便利店跨入到无人便利店。

　　由于时间关系，今天就跟大家汇报到这些，我们重点讲了无人便利店或者智能导购机器人的新一代人工智能技术，新一代人工智能是大有作为的，非常欢迎大家到北大、到深圳交流，谢谢大家！