老师让全班学生一起比心，熊孩子表情亮了
来源：楚天都市报极目新闻
老师提个问题，小朋友们一起喊出答案，这是学校课堂的景象。1月27日开始，这个场景也在线上课堂呈现了。
在作业帮小组直播间上课的同学，从这一天开始，可以听到同组同学的发言。而老师也能听到小朋友们的“发言实况”。
它模拟的，正是线下课堂的互动氛围。
作业帮小学产品负责人曹越说，希望能让小朋友们有线下上课的感受：有小伙伴一起学习，有老师关注着你。
模拟这样的氛围，不是件容易的事。仅就“听到彼此”这个集体发言功能的升级版，平台就努力了几个月。程序员们还加班加点，进行了技术攻坚。
而这只是作业帮借助AI技术，增强课堂趣味性的一个最新功能。
技术服务于教育需求。就小学课堂，在2020年推出小组直播间后，就怎么增强小组体验，怎么更靠近真实课堂，不同的AI功能被开发上线。
对于很多地区的小学生和他们的家长，AI可能还是个比较遥远的名词，不过小朋友们课堂上喜欢的“比心”“弹幕”，以及他们现在能听到小伙伴的声音，依托的都是AI功能。
“有趣，有方法。”曹越说，这是小学产品理念。让在线课堂有趣，培养孩子们的学习习惯、学习方法。
在作业帮产品经理聂靖骐看来，对于孩子们，尤其对于小学低年级的孩子，课堂有趣很重要，“他觉得有意思才可能去理解它”。
老师，我还举着手呢
“我们想，能不能在大班的模式下，尽可能给用户更好的体验。”1月25日，作业帮小学产品负责人曹越说，随着早先大班直播课的发展，一个老师可能面对太多学生。学生可能会感觉老师关注不到自己，从而不好好听课，尤其是小朋友。
为增强学生更偏个人的体验，以及学习了现实课堂的分组教学，曹越他们打造了大班课小组直播间模式。
2020年1月，作业帮小学课程直播模式升级。登录后，小朋友们会发现自己有了小组。每6个学生一组，每6组形成一个班。
与小组直播间一起上线的，还有双向视频。以前直播只有孩子们能看到老师，这次升级后，老师也能看到孩子们了。
从老师一端，可以随时翻动屏幕，看到不同小朋友的状态。
跟随观察新功能、新产品的使用，是产品经理们的日常。曹越说，观察课堂，会发现老师和孩子们的互动是很多的。尤其双向视频打开后，老师可能提醒孩子坐好，或者告诉小朋友大家很棒，给自己点个赞。而曹越他们也很快注意到了一个问题。
“孩子点赞之后，老师没说‘把手放下去’，孩子可能都不会把手放下去。”曹越说，孩子做完一个动作，他很难知道老师有没有看到。也就是，缺乏反馈。
但一个老师可能同时面对成千上万个学生。这样的场景，AI是不是可以帮一下老师？
小组直播间上线后，小组、小班的感觉增强了，怎样增强互动性，怎样更好地激发学习兴趣？
“我们想在直播间里，再做一些更好玩儿、更有趣的东西。”小学产品经理聂靖骐回忆。
如果感到幸福，你就比个心
“我们希望那些常见的手势，可以被（机器）识别出来，系统可以给一些反馈。”曹越介绍，手势识别这个功能，初衷是及时给孩子们反馈，更多增强课堂互动性。
“当时也具备了这样的AI能力，”聂靖骐说，小组直播间上线后，大家也希望能利用好AI，做一些有意思的事。
几个月后，大约2020年四五月份的时候，产品和技术部门讨论，确定了要做手势识别。
首先去识别孩子们最常用的一系列手势，比如比心、点赞、ok等。
问题随之而来：孩子们来自全国各地，他们打手势的方法可能很不一样。例如比心，有这样比的，有那样比的；有单手的，还有双手的。
“最早定义手势比较难。怎么样去定义一些更通用、更简洁的手势。比如说比心这个事，每个人都不一样，但是技术不可能包容（所有）。”作业帮智能技术实验室负责人王岩介绍。从技术上，最终的目的，是要保证大家的理解是一致的。
手势识别，简单说，就是让机器“看”到屏幕前一个小朋友的一个动作，它要认识，要给出回应。
要让机器去认识手势，先要告诉它某个手势是什么意思。
先要收集手势。主讲老师向小朋友们发起了手势征集，征集来几千个小朋友比手势的图片。
王岩介绍，当时，工程师们还给自己写了个小程序，团队的工程师假装是小朋友在上课，去比划手势。
收集同一手势的不同图片。去掉不多见的手势，留下常见的，做成模型，然后训练机器去识别。
几个月后，2020年暑假课程，第一版手势识别上线了。
这个功能很快就俘获了小朋友们的心。
在暑期课后的问卷调查中，9000多名参与的学生，约94%的孩子表示非常喜欢。
他们最喜欢和最常用的，是比心、点赞和Ok。积极而向上。
同学你去哪儿了，回来上课
依然是从2020年暑假课程开始，细心的小朋友会注意到，眼前的屏幕变得非常酷：它不仅“认识”自己做的动作，还能“注意”到自己有没有好好听课，乃至能“看”到自己离屏幕有多远。
如果没好好听课，就可能会收到辅导老师的信息提醒，或者妈妈会接到老师电话。
好有意思。
“家长负担很重，还要陪着孩子上课。而如果是线下，我交给老师，老师帮我看着。”曹越说，利用AI技术，赋能在线课堂，可以给老师们提供很多利器，甚至辅导老师能帮家长看着孩子。
这些利器中，最显著的一个是孩子们的专注力检测。
也就是，利用AI去判断孩子们有没有认真上课。
“就是AI会帮我们辅导老师筛选出来：要关注这10个孩子，他们现在的专注力已经很低了。”曹越举例，这时候，辅导老师就会去重点看一下这10个孩子。
这个功能，技术上其实很难。
“比如他有可能发呆，但是画面跟沉思没有什么太大区别。”王岩介绍，专注力有很多维度，怎么去定义它，本身就很难。
“这个东西很主观，什么样是专注？”曹越说，比如你可以说不正视屏幕是不专注，但这个孩子他可能低头记笔记。他说，就怎么定义专注力，他们做了非常多的“细维度拆解”。
聂靖骐介绍，刚开始时，很多情形下机器可能判断不准。比如孩子上课的环境，灯光比较暗，机器“看”不到，它可能认为你离席了。
离席检测是与专注力一体的一个功能。目的都是关注孩子的上课状态。
“线下，有老师的参与。但线上，（如果）家里没有其它人，小朋友自觉性可能会比较差，离席检测相当于监督他的手段。同时也让小朋友觉得更有意思，更自觉。”作业帮课中视觉负责人杨森介绍。
功能很酷，但是不是准确更重要。系统多一次错误，老师就会多浪费一次时间，孩子也会被打扰到一次。
王岩说，开始的时候，离席检测准确率不够高，他们就去重点优化。大家把几个问题严重的异常case梳理出来，针对性的分析解读，把准确率提高到了90%。
除了判断孩子是否专注，机器还能够判断孩子是否距离屏幕太近。
如果发现小朋友离屏幕太近，系统就会弹出一个气泡来提醒。聂靖骐说，这中间有个平衡问题，不能提醒太频繁，打扰听课。
“比如看到你头都要贴在屏幕上了，就发个提醒。”杨森说，提醒的使用，是非常严格的。
小朋友，你咿呀说的是啥？
还是从2020年暑期开始，小朋友们还会发现：咦，可以跟屏幕说话？它不但能听得懂，还会把自己说的话飘在上面。
这个暑假，作业帮在在线教育行业中，第一家推出了弹幕功能。
“以前，老师提一个问题，学生需要点一下输入法，一下子就占了半个屏幕在下面打字，这样的体验很差。”作业帮语音技术负责人王强强说，尤其对于低年级的小孩子，一二年级，他们可能还不会打字，或者打字很慢。
但老师和学生又是需要互动的。老师想要知道学生听课的反馈，而孩子们需要表达，“就像我们在正常的课堂那样”。
有了语音弹幕功能后，老师问一个问题，学生的页面上会直接跳出来一个小话筒，他可以直接对着屏幕说话。
然后AI会识别孩子们的发言，“汇报”给老师，比如最高频的4个回答是什么。
鼓励孩子开口，参与到课堂中。
“营造很有意思的课堂氛围。”聂靖骐介绍，语音弹幕最主要的使用场景是小学语文。例如老师读完一个故事，问一个开放性的问题，学生就可以直接说。
聂靖骐说，老师们也很喜欢这个功能，例如问孩子们是不是听懂了，可以很快收到反馈。
从学生的角度，他不用打字，可以快速回答。
王强强介绍，2020年暑期前，他们小规模测试弹幕，发现小朋友很喜欢，孩子们会觉得很智能，屏幕能听懂自己说话，很惊喜。
暑假正式上线，“高并发”的问题来了。
什么是“高并发”？作业帮直播课，有时几千、几万乃至更多的孩子一起上课，老师同一个问题，当孩子们一起开口回答，就是瞬时“高并发”。
王强强举例，想象一下春晚抢红包的场景，几万路瞬时打进来，“而我们相当于天天抢红包”。
也就是，机器需要巨大的“脑容量”，去支撑巨大的瞬时识别能力。
“我们当时压力特别大。”王强强说，最后是作业帮副总裁罗亮拍的板，加机器。罗亮说，这个功能挺好的，不能因为成本变高就不让孩子们用了。
“最后买了那么多机器，硬是把它给扛住了。”王强强说。
除了扛住“高并发”，要让机器识别出孩子们在说些什么，也不容易。
“一个是，他说的可能不太清晰。然后还可能，他说的话，跟老师的提问没有关系。甚至和中国话、外国话都没什么关系，小朋友自创语言。”王强强说，还有时会混有家长的一些声音。
还有口音问题。学生们来自各地，很多孩子来自三四线、五六线城市，如果普通话不标准，或者说有方言问题，怎么去识别？
王强强说，没有更好的方法，只能不断地训练AI的识别能力。
听懂孩子们，它是个不断优化的过程。
“几千个孩子去说，一定有十几、二十个说得好的，说得更标准的。”王强强说，然后算法通过半监督的方式自动学习，增强模型。
一起抢答吧，可以听到彼此了
整体得分9.48分，满分10分。这是去年暑假后，孩子们对新的AI功能的打分。
产品经理张琴回忆，也正是暑期后这次问卷，他们发现在小组直播间，孩子们已不满足只是自己说。
70%以上的同学表示：想听到同组小朋友的声音。
让孩子们互相听到，实现起来，技术难度很高。
最主要是回声和噪音的消除问题。就想象一下几万人一起在线开会，作业帮流媒体客户端负责人曾建斌说。
到底要不要开发这个功能？产品经理去和技术的同事提需求，探讨。
大家争来争去，会开来开去，决定还是要上。
并且也要让老师实时听到孩子们的声音。此前孩子们的发言，老师看到的是声音转成的文字。
产品经理聂靖骐说，大家觉得这也会营造很好的课堂氛围，“我同组其他的同学在回答（问题），可能我本来不想说，我听了别人说，我也想说了。”
但也是极大的挑战，哪怕一个人的设备传回噪音，就可能毁了一堂课。
而作业帮的孩子们上课的场景很复杂，使用的设备更是庞杂。
曾建斌说，孩子们可能在菜市场上课，在工地，在商场。背景会是各种噪音。他们使用的可能是无牌或杂牌设备，识别起来很难，更不用说针对机型做适配。
上灰度测试。也就是选特定课堂，小试一下效果。结果有老师说很吵，吵了一堂课。有孩子说，吵死我啦。
问题比预估的还严重。曾建斌他们赶紧停了测试。攻坚，加班加点。
去找来所有可能找到的机型，做适配，降噪消音。个别实在识别不出的设备，再想办法。
据曾建斌介绍，相对棘手的机型，占比大约不到1%，但“这也不能放弃，不能说，你手机不行就不要上作业帮的课了”。
1月27日，作业帮集体发言实现了升级。孩子们可以听到同组同学了。而老师也可以随机选取一组同学，听他们的实时发言。
在小学产品负责人曹越看来，这个功能，也是基于现实课堂的场景，小朋友们能听到老师，老师能听到小朋友，小伙伴能听到彼此。
学习不是一个单向的事情，曹越说，希望孩子们一起，可能就会相互影响，希望能把课上得更好。
建一个渠道，或许你会看到更多可能
寒假到来。小朋友们能听到队友的声音了，但效果怎么样，他们喜欢吗？
对于张琴他们来说，新功能上线，对用户体验的跟进也就开始了。
而早一些上线的功能，依然需要持续优化。例如专注力检测。“我们还在不断去找各种维度，丰富模型。”曹越介绍。
对于曾建斌他们来说，集体发言升级可能只是新挑战的开始。新的问题随时可能出现，新的机型，新的噪音。
而每一个问题都可能影响一堂课，乃至更多。
在作业帮副总裁罗亮看来，在教育公司做程序员，它是不一样的。对于其他行业的程序员，用户可能是一个数字，一个pv，一个uv。但对于教育公司的程序员，用户就在你面前，他是一个真实的孩子。
罗亮举了个例子，有次一个程序员已经下班了，有个辅导老师找他，说有个孩子因为网络问题无法做互动题急得直哭，这个程序员就赶紧回公司，去看是什么问题。
“我们是在线教育，如果我们技术服务不好的话，老师讲得再好，学生体验也会受影响。”曾建斌说。
在张琴看来，在线教育优势明显，汇集了优质资源，触及更多学生。但局限性也很明显，例如感知力的影响。
比如，老师是在屏幕后面的，他其实对学生的影响效果会打折扣，张琴说，这种不足需要更多的手段去提升，也就是去不断减少折扣。
教育应该是拓展一些可能性，语音实验室负责人王强强认为。而技术可以帮助带来更多的可能性。毕竟，一块屏幕连接的，是不同地区的孩子和老师。
AI，技术，更好的师资，在王强强看来，都是一种辅助手段。都是“术”。而“道”，是建立一个渠道，一个平台，让孩子们看到更多的可能性。他就可能走得更远。
“其实我们要做的，就是这样的事情。”王强强说。