智能质检应用实例—从建模到生产应用
9月24-25日，由中国信息协会主办，中国信息协会客户联络中心分会和中国电子北海产业园联合主办，才博（中国）客户管理机构承办的第四届中国客户服务节在广西北海成功举办。大会为期两天，以“弘扬服务精神，传递微笑服务”为总主题，以“共同战“疫”，客服人在担当为背景，共集结近40位嘉宾以及500余位行业代表出席了客服节的开幕式大会。采用“线上+线下、会议+展览”的互动方式，在线观看人数超过30万人次。议程包含广西及北海市政府领导致欢迎辞、主办方及国家部委领导致辞并发表主旨讲话、战略合作伙伴签约仪式、《客服人幸福指数调研报告》发布解读、《我是客服人》首发仪式、优秀标杆代表发言、抗击疫情先进事迹与先进个人报告会、颁奖晚会以及两大平行论坛：服务创新管理案例论坛、质检培训管理案例论坛、技术应用交流展览区等。
中国电信浙江10000业务主管助理 马君
现场直播回看
各位在场的客服同仁以及关注和帮助这个群体的每一位伙伴大家下午好！我是来自中国电信股份有限公司浙江10000运营中心的马君。今天很高兴因为今年是我加入客服行业的第11个年头，而我是从一线客服代表成长起来的，今天站在这个舞台上，参加这个盛会，聆听和学习各位同行大咖带来的一些分享，让我深深的感慨，我贵闲步觉得这11年间，咱们这个行业真的发生了非常大的变化。正如我今天要分享的主题，应该说智能质检也是我们人工智能时代到来以后，对我们日常管理工具当中，工具的一些创新和应用。而智能质检在整体10000呼叫中心已经运用了好几年了，所以今天把这个主题带来和大家一起分享和探讨。
今天我分享的内容一共分成两块：第一块是总体的情况。智能质检在10000从17您一直到现在，我们一共现在目前有17个模型，具体稍候会和大家详细展开讲解。第二会用一个实际智能质检的模型，从建模到最后的应用到底有几个环节。
首先和大家分享一下浙江10000智能质检的情况，说到浙江10000智能质检，不知道大家是不是了解10000号，有打过10000号的吗？打过10000其实大家是不是更多的是想要了解一些宽带方面的信息？其实我们10000号和其他同行的呼叫热线相比，应该说是我们属于年限比较久的，从1000到10000是15年以上了，但是智能质检应该是我们比较新的，因为我们是从17年9月份才开始运用的。运用到现在，一共有17个模型，平均每一个模型的准确度能够到81.8%，涵盖了主题话本抓取类和问题类两大话务场景，一个月的智能质检的量能达到66万通，相当于能够覆盖呼入到10000全月用话务量的40%左右的数量等级，覆盖面还是比较广的。
接下来讲讲我们两大类的应用场景，我们现在目前是在哪一些场景里面会运用我们的智能质检呢？首先第一大场景，就是我们的话务抓取类的应用场景。为什么我要问大家你们打10000是为了做什么，其实做什么，就是我们在话务抓取类模型里面想要抓的一个点。举一个简单例子，因为对于三大运营商而言，去年11月份上线了一个全新的服务叫做携号转网。对于运营商人而言其实是非常关注这个服务的，如果在智能质检没有上线前，我想要了解呼入到我们热线，了解携号转网的用户每天有多少，只能依靠传统的客服代表在接到过程中给 手工记录。但是现在有了智能质检以后，我们就可以通过智能质检，实时的把每天客户的需求、数量包括员工有没有按照我们的要求去和客户做这么一个服务，我们都能够抓取出来。所以我们现在目前主题话务抓取类的模型一共有八个，下面两幅图都展示了整体的应用情况以及我们的准确率的情况。这八个场景应该说我们现在目前准确率都还是平均能够到达85%以上。这是第一类我们在运用的场景。第二类我们在运用的场景是什么呢？刚刚我们的场景是运用在我们想要抓话务类型，但是第二个应用场景，我们是总客服的问题的角度去切入的。我们呼叫中心幼我们的指标，包括我们有一些可能员工上面的一些共性问题。以前可能米办法把全员的共性问题通过我们的一些技术手段把它抓出来，而智能质检能做得到。比如说我们想要了解客服代表在整体话务当中有没有出现不耐烦，甚至冷淡客户、长时间不理客户的情况。我们就能够通过我们的智能质检模型其中的静音模型把它抓取出来。这样我们就能够定位到到底是哪些客服代表容易出现问题。这个就是我们问题模型应用的场景。问题模型的应用场景是非常广泛的，它基本上能够涵盖每个月话务量在64万左右，整体的准确率应该也是比较高的，而这个模型的应用，应该说对于我们整体的效率来说，起码能够提升30倍。这就是我们运用的情况。
接下来我和大家具体分享一下，我们的质检模型到底是怎么做的，上午还记得竹间科技的同仁来分享说，他实时语音智能质检的情况，他是从系统和平台的层面和大家进行共享的。而我会从什么样的层面呢，我会从我们实际从建模怎么建，包括我们过程中，我们是怎么做的角度和大家进行分享。我选取的主题是什么呢？我选取的主题是网速慢，为什么要选择网速慢这个场景？一个因为现在目前用户对网速关注度越来越高，因为现在互联网上面应用的产品，其实基本上都是会对网速有一些要求。而其次网速慢是有比较明确的质检的要求，以及我们相应的一些预处理规则的。所以我选了这么一个场景和大家进行分享。
在网速慢这个模型运用以后，对于我们整体而言，带来的帮助是比较大的。我做一下对比，首先我们之前在没有用这个模型之前，在网速慢这个场景里面，我们全省人均只能抽到一条，这就是依靠人工质检的抽取去抽的。而人工质检大家都知道，存在某一些痛点，比如说我们量少，客服容易有侥幸心理。其次公平性很难保证，因为每一个质检员可能对质检的标准，它的理解可能很难达到100%统一。但是智能质检上线以后，它能够把我们全月这一类的话务全部抓取出来，我们一定能够抓出来13206条，而其中能抓出来30%左右，将近4000条的问题话本，而我们可以对这4000条的问题话务进行共性问题的归纳和总结。所以我们整体的质检量和覆盖率至少能够提升20倍左右。质检员的时间就可以托出来了，我们可以针对所有的共性问题，要质检员可以花更多的时间和精力去辅导我们的员工。
刚刚我讲的是整体的应用成效，接下来和大家分享一下我们整体搭建智能质检模型的过程。这个过程我把它理解成盖房子一样的过程。首先第一步，我们要有图纸和我们的框架，图纸和框架其实就是我们智能质检模型搭建的过程中梳理出来。接下来我们要有标准的一些模型和标签，我们要把它标出来。而这个就像盖房子里面，我们要关键的零部件，我们要把它找出来。找出来以后，我们才能把我们整个模型给搭建起来。搭建起来以后，还不能用，因为还要做验证。验证好了以后，最后才到整体的应用环节。而我们对模型能够运用于生产的标准，我们要求准确率是要到达80%以上的。所以接下来和大家先介绍一下第一个部分。我们如何去把我们的质检标准梳理出来。就拿网速慢这个场景而言，整个质检标准一共有7个步骤，这7个步骤分别是锁定用户需求，关联诊断报告处理方案，包括把处理方案过程中的步骤，我们给它关键点拎出来，最后把这个关键点转化成标签，然后用且或非的关系把它转化为机器能理解的语言，最后形成我们的标准。我详细一一来拆解一下，第一个就是我们的诉求定位，为什么要先做诉求定位这件事情？因为大家都知道，我们中国文化博大精深，五千年老祖宗留下给我们的文字其实是很好玩的，可能同样表达一个意思，但是呢，我们客户呼入的时候讲的话就会不一样，就拿网速慢来说，有些客户的表大会说卡，有些客户会说慢，有些客户会表达成说我怎么就是顿一下。所以同样一件事情，用户的表达不一样，我们就必须要把他的诉求先定位好，我们要把这一类的话务摘取出来。要先了解这一部分客户的表达之后，我们把这些客户的诉求给打标，打标好了，话务就摘取出来了，接下来到第二个部分，就是关联诊断报告，这个诊断报告厅起来好象很厉害，但实际上的确也挺厉害的，因为我们的诊断报告是系统自动给的，这个就像我们去医院看病，比如说我们说自己头痛，一般来说医生总会先让我们去用机器来检查一下，而我们系统现在也能针对用户的宽带的家里的使用情况，从我们电信的局方到用户家里的端口实现一整条线的自动检测。我们会检测出来清晰的告诉客服代表，你这个用户他到底是因为在哪一个环节出现问题了，原因定位好了以后，接下来处理方案就系统自动给客服了，而这个处理方案谋得一些关键点是我们绝对要克服做到的，当然不是逐字逐句必须做到，而是中间的关键点，就像医生给我们开药一样，这个药必须就开水服的，如果干嚼就不对了。
我们抓出来要到第四个步骤，就是把它变成我们的关键点拎出来以后，变成我们的标签，这个标签整理出来以后，我们再把它转化成机器能理解的语言，因为这个标签每一个都是独立的，我们要把这个标签之间的一些关系，用且或非的一些关系，把它标出来，标出来以后，整体的话务的质检的标准才能形成。而对于我们来说，整体网速慢的场景，因为其实最终它有三个原因定位，一个可能是因为速率方面的一些原因，实际上用户在使用的速率和我们系统给予的速率的确有一些不一样的。第二个可能是用户家里光功率出现了异常，第三是综合性的原因，很可能外线也会比较老化，然后用户自己家里的电脑等等可能也会因为它买的时间比较久了，配合不上的一些原因导致这个网速慢慢所以我们会根据三个主要原因再把我们三个小场景里面的观点梳理出来，然后就形成了我们的标签。
标签这里主要分成两大类标签，第一个，就是我们的轨迹标签。我们现在系统能够实现客服在我们智慧门户3.0上面的每一个步骤都能够把它打标，客服到底做了什么，在这个时间点做了什么动作，我们都能够清晰的把它记录下来，成为我们后台的大数据。我们想要用的时候，我们随时把它调出来就可以了。所以我们这些轨迹标签，我们根据这个场景的一些应用，我们把它整理出来，整理了一个总共是有8个标签，除了这和标签以外还有文本标签，就是客服和客户的表达，他的讲话到底讲了哪些关键词是需要我们在整体的搭建模型过程中，我们要把它理出来的。这一类的标签呢，我们也理了七个，而这一类的标签，其实是我们花了很多时间去梳理的。因为我刚刚有讲到说，其实同样表达一个问题，但是客户的问法是多种多样的。所以当时总共拿了6235条的用户的语料去做验证，做梳理，最终把八类标签给摘取出来，这八类的标签准确率大概是在90%以上。而这一类的标签，在实际智能质检过程中发现，如果准确率要在80%以上，你的文本标签必须要到90%。如果你到达不了，那么整个模型就没办法应用。所以这个是比较关键的。
刚刚讲了比较多，可能大家有点不太理解的，我接下来用一个图来展示一下。整体我们智能质检针对网速慢这个场景，我们的逻辑到底是怎么样的。首先我们要区分话务，话务就是用我们的产品状态的标签和用户呼入诉求的文本标签，我们要把不是网速慢的话务摘取出去，接下来就会正式进入到话务质检的流程里面，我刚说了，其实我们有三个原因定位，它每一个原因都会有一个我们必做的，或者要求员工必执行的一些点。我们把这些点给它做质检，如果员工没有做到，就会形成我们后面问题话务。所以整个网速慢的质检模型就是这么按照这个逻辑给搭建起来的。这是前两个步骤。我们对整个质检模型整体的应用的准确率，我们必须要到达80%以上，才能够运用在生产过程中。所以我们分三个小场景，我们进行了分项验证，每一个场景验证的数量都高达500通以上，最终保证我们三个场景整体的运用的准确率能够到达83.2%。也只有这样才能让员工去信服我们智能质检最后呈现的一个结果。这是第三个步骤。
最后就到了我们实际的应用生产数据跟踪的环节了。其实刚刚说到的关于网速慢的内容，就是我们在17个应用场景当中的一个模型了。在智能质检应用的这三年间，应该说整体对我们的运营还是带来非常大的帮助的。首先我们会发现，问题话务我们感觉落地会更快，因为我们浙江10000号运营中心是分三个分中心，分别设置在台州、丽水和杭州。整体而言我们觉得能够更快的把我们客服代表存在的一些共性问题，包括短板的一些班组，还有共性的一些个人能够存在问题的个人，能够更快的把它抓出来，抓出来以后可以按周、按日，都可以形成PDCA的管控的过程，把员工的问题给它反哺落地掉。
第二，在这个过程中，我们觉得整体智能质检对于规范性管红还有非常大的帮助。因为我们能够把员工的一些问题给它直接抓取出来。而且能够覆盖到全量的话务，这样员工很难有侥幸心理了。
第三，对我们整体的流程推动是带来非常大的帮助的。因为我们在整体的分析过程中，能够帮助我们发现目前可能在IBI上面，或者在业务流程上面存在的一些问题。所以整体来说，对我们的运营带来非常大的帮助，当然还有最重要的一个好处，就是它能够帮助我们在质检上面的全面性、效率性以及客观性上面都有非常大的提高。能够真正的帮我们起到减负运营和深化运营的作用。
以上就是我刚刚和大家分享的整体关于智能质检从生产到建模应用的这么一个内容。最后我想说，因为我从业已经11年了，我觉得今天的主题还是很贴合我这11年的心境的，最后还是想要和大家说一句，不忘初心，砥砺前行，让我们在用微笑和爱传递我们的客服精神的同时，能够在路上遇到更好的自己，谢谢大家。
end