#榜样的力量#新再灵云梯智能防疫管理系统丨数据猿新冠战“疫”公益策划
大数据产业创新服务媒体
——聚焦数据 · 改变商业
在疫情刚刚发生时我们就很快意识到了严重性，因为新冠病毒具有飞沫传播、直接传播等属性，而电梯空间狭小、人流量大、环境密闭，是病毒传播的高危载体之一，并且很容易被人们忽视。目前全国的电梯保有量超过600万台，服务于各大社区、医疗机构、交通枢纽等场所，与人群的接触十分密切。
2020年2月5日，国家市场监督总局下发了《市场监管总局办公厅关于做好疫情防控期间电梯安全监管工作的通知》，通知表示：“疫情防控期间，电梯维保单位可以结合电梯使用情况和安全状况，与电梯使用单位协商一致，在保障电梯安全运行的基础上，适当调整或延长现场维保周期，鼓励通过物联网远程监测系统实施在线实时检查维护，或者通过视频等信息化手段进行远程检查维护。”
风险之中，我们更看到电梯物联网的责任与机遇。新再灵云梯在线护航全国10万部电梯安全运行，我们一直在思考，在电梯场景里，AI技术能为防疫做什么？
项目开发起止时间
2月8日，完成新功能研发；
2月17日，公司在桐庐的工厂复产后，集中3项新功能的云梯智能防疫管理系统投入生产;
3月8日，新再灵将第一批云梯智能防疫管理系统设备和物资运送武汉，捐赠给武汉协和医院与武汉同济医院。
应用场景
新再灵推出了非接触式呼梯、未佩戴口罩乘梯人监测、智能消毒等云梯防疫功能，可应用于医院、学校、住宅区、写字楼、政府、企业园区、酒店等场所。
非接触式呼梯
由于新冠病毒可通过接触传播，因此电梯中如果有病例打喷嚏或咳嗽，可能会污染电梯按钮等地方。健康的人如果触摸之后没有及时洗手就接触眼睛或嘴巴，就有感染的风险。如何杜绝因接触电梯而产生交叉感染呢？云梯非接触式呼梯功能，通过人脸识别、语音识别、蓝牙、WiFi等方式实现自动呼梯，真正做到乘坐电梯的“零”接触。
电梯智能消毒
云梯通过加装紫外线消毒灯，当电梯内无人停留时，紫外灯可以开启进行消毒；当电梯突然开门、运行或者有人进入时，紫外灯自动关闭，全面保障乘梯人的安全。
为确保安全，云梯系统根据电梯速度+人体感应+电梯门状态来判断是否具备开启紫外灯的条件，防止对乘梯人员的误伤。管理人员通过维小保APP或Web端远程控制云梯紫外灯的开关状态，设置照射时长，解决了物业人手不够、电梯太多来不及消毒的难题。另外，云梯系统既支持全天候模式，持续杀菌；又可以根据电梯运行情况，推荐最有效的杀菌时间和时长，定点定时消毒。
未戴口罩人员监测
在电梯内部监管上，通过人工智能可实现24小时不间断识别梯内情况。通过AI摄像头，对乘梯人员进行口罩识别。一旦发现未佩戴口罩者，可进行梯内语音劝阻并通知物业。
面临挑战
2020年新型冠状病毒肺炎爆发，给新再灵的云梯·智慧电梯业务带来多个方面的挑战。
从外部条件来看，疫情使得原材料价格上涨，企业成本支出增加；元器件物流受到影响，新配件挑选采购流程拉长；疫情使得小区进入封闭状态，导致云梯系统的线下部署速率变慢，已安装的系统线下维护困难，新产品新功能现场实际测试较难；合作单位人事变动较大，部分系统对接项目延期或搁置。
从公司内部运作层面来看，居家办公、线上敏捷迭代开发对公司的管理能力提出较高要求。在存量市场上线下维护困难，线上维护巡检压力陡增。同时，电梯媒体行业受到一定冲击，梯媒广告需求减少，给公司经营带来一定压力。
从产品层面来看，疫情所带来的线下到线上理念的变革，对电梯公共卫生的关注以及智慧城市技术的应用都推动电梯物联网行业的需求不断变化，要求作为电梯物联网的头部企业的新再灵在产品上不断创新，将新的需求转化为落地产品，肩负起头部企业的责任。
实施过程
项目致力于根据疫情下的实际场景需求，从保障应急救援、推动按需维保、梯内杀菌消毒、乘梯人行为约束、切断病毒传播源、梯内智能媒体六个纬度进行产品架构，搭建了基于人工智能与机器视觉的电梯场景下智能服务平台，形成了符合疫情和市场需求的电梯物联网综合解决方案。
项目实现功能
1.通过智能判断电梯困人事件，自动发布告警信息，并督促救援单位合理优化救援资源，提高电梯应急救援效率；
2.通过汇聚电梯安全运行相关数据，开展在线风险预警，隐患治理，降低故障率；
3.通图像判断及控制技术实现梯内智能紫外灯消毒功能；
4.通过接入视频监控数据，采用机器视觉对视频数据进行分析，做到基于场景、行为、识别的实时智能报警，准确识别乘梯人未戴口罩乘梯的功能；
5.通过语音分析及蓝牙控制技术实现非接触式呼梯功能，阻断病毒传染源；
6.以PLC电力载波技术为核心，打造联网梯媒屏幕，进行远程素材下发。
项目总体架构
本项目的建设目标是基于机器视觉与人工智能构建一套符合疫情需求的电梯物联网系统。系统主要包括四大部分，分别为电梯运行数据实时采集系统（运行数据与环境数据）、基于机器视觉的智能监控系统（行为数据）、基于大数据的云服务平台、智慧应用平台。
电梯运行数据实时采集系统
（a）数据采集
前云梯非接触采集的数据如上图，其中采集的参数和范围如下：
（b）采集数据传输
系统采用电梯内部冗余的随行电缆进行PLC(power line communication)电力载波传输。在电梯井道内，现场环境复杂，对无线通讯影响大。如果使用有线传输方式，需施工在井道内拉线通信，且易损坏；而使用PLC通讯，只需使用原有的电梯正在使用的电力线，且信号稳定，极为适合在如此复杂环境进行通讯安装。
视频平台及服务
通过大数据计算与机器视觉技术的结合，提供智能分析功能。
主要包含如下几个方面：
（a）视频摘要
通过视频的查找事件往往耗费巨大的时间和精力，但作为电梯场景，有人的时间占比较少，通过有效识别有人场景并且压缩到较短时间查看，可大大提升事件检索效率。
（b）电梯场景分析
在电梯封闭环境中，通过采集视频数据、声音数据，完整记录电梯场景数据，通过视频分析技术及大数据技术，可针对场景进行乘客行为分析、声音分析，识别视频中不文明乘梯行为（例如打架斗殴、运行中扒门等），运行中各类异常声响（如人员呼救、设备撞击异常声响等）。
（c）危险事件告警分析
通过传感器、视频探头上报数据结合相关场景算法，实现电梯场景中的危险行为告警，目前实现老人跌倒分析、小孩单独乘梯、扶梯逆行、困人报警、长时间档门、反复开关门报警。
（d）视频存储服务
海量视频/图片存储功能，支持视频/图片检索功能。视频点播功能，支持多用户高并发请求点播功能，支持浏览器无插件播放。自动定向拉取视频功能，支持自动从视频源拉取视频存储到云上。
（e）可视对讲服务
Web端、智能屏端实时视频对讲，浏览器端无插件视频对讲，多用户高并发请求可视对讲服务，可视对讲音视频录制存储。
7.2.3 基于大数据的云服务平台
（a）总体架构
基于大数据的云服务平台采用分层的框架进行设计，分为感知层、接入层、处理层和应用层，层次内功能内聚，层次之间互相解耦，数据交互则通过标准协议接口做衔接。框架设计具有良好的扩展性，在未来负载增加和并发访问压力增大的情况下，可以方便扩展和升级，提升系统的处理能力。
系统总体架构如下所示：
平台总体架构
感知层：主要指通过在电梯轿厢及机房安装的硬件传感器获取相关数据，主要包括四大类数据，第一类是电梯运行状态数据，第二类是通过智能算法分析出的应急告警数据，第三类则是通过摄像头获取的监控视频数据，第四类是传感器运行状态数据。
接入层：针对感知层的数据类型，接入层分为结构化数据接入及流媒体服务两大类，其中结构化数据接入主要用以接受运行状态等文本型数据，流媒体服务用于与轿厢摄像头及屏幕进行交互，提供视频数据的接入及屏幕的可视对讲功能。
处理层：处理层为本系统核心模块，包括数据存储、数据分析及对外开放服务三个模块，由于数据类型区分结构化数据及非结构化数据两大类，因此在存储及分析中也表现出不同的处理引擎。
针对结构化数据，会针对数据规模及数据价值密度区分为低阶数据、高阶数据及元数据，低阶数据主要采用大数据分布式数据库进行存储，高阶数据及元数据则采用关系型数据库进行存储。数据分析主要分统计分析、趋势分析及挖掘分析三大类，统计分析主要针对低阶数据多维度进行统计，生成高阶汇总数据；趋势分析关注数据的时序表现，预测数据未来发展规律，为预警类决策提供数据依据；挖掘分析倾向于无预先规则的数据探索，通过分类、聚类、关联分析等机器学习算法挖掘海量数据内部规律、关联关系，探测未来发展趋势、外延决策指标、数据深层价值。
非结构化数据主要包含图片及视频，存储形式主要采用分布式文件系统。分析主要体现在智能视频分析，包括乘客行为分析、声音分析、人员识别及场景分析，乘客行为分析主要是识别视频中不文明乘梯行为，例如遮挡门、运行中扒门等；声音分析主要识别电梯运行中各类异常声响，如人员呼救、设备撞击异常声响等；人员识别主要通过人脸识别技术识别陌生人员及危险人员；场景分析主要结合多类传感器判断电梯运行情况，如电梯困人。
数据服务是数据处理层对外部提供服务的环节，主要讲数据检索、分析、挖掘及机器视觉的能力对外开放，与业务应用环节结合，解决生产、生活中的实际问题。当前系统主要包括数据仓库、数据挖掘、用户画像、智能服务及流媒体服务五项服务。
应用层：目前规划建设行为管理、故障预测、智慧救援、智慧分流四个应用平台。
（b）数据服务部分架构
数据服务部分架构设计采用分层设计，分为数据应用平台、数据服务平台、基础能力平台三个子平台，具体如下：
针对系统架构各层级，做如下简要说明：
数据应用平台：以用户需求为核心，关注安全电梯、智慧电梯建设，通过构建五大应用平台，实现电梯制造、安装、运行、维保、救援全生命周期管理，通过大数据及机器视觉技术实现体系从预知到感知升级，实现风险预警、按需维保等前沿领域探索。
数据服务平台：建设开放、包容、高效的应急处置数据服务平台。依托于数据基础平台，对电梯应急处置、安全运行、故障、维保等相关数据进行深化分析、联动分析、趋势分析，实现对数据深度价值的萃取、应用。依托于流媒体服务器实现视频数据采集、可视对讲功能，为开展智能分析，通过视频识别发掘不文明乘梯行为、抢劫、打架、危险乘梯行为、携带危险品乘梯以及电梯困人事件提供数据基础。
基础能力平台：基于大数据技术架构建设具备梯联网数据接入、存储、分析能力的基础平台，负责对包括电梯应急处置数据、电梯安全运行参数、电梯故障参数等电梯相关海量数据的接入、存储，提供分布式计算引擎及统一的资源调度平台承载数据的分析、挖掘任务。
（c）数据架构
本系统建设目标为建设一个多数据源、多维度、多数据层级的数据仓库系统，多数据源指的是各个数据源头的数据都归集到数据仓库，研发具备多数据类型、单类数据海量规模存储能力的存储载体；多维度指的是数据仓库内部会针对海量数据划分维度，建立指标体现，形成科学合理的数据分析和挖掘体系；多数据层级指的是数据仓库实现会充分考虑数据价值密度及应用规律，进行分层存储、分层应用。
数据应用架构如下数据架构图：
针对上图数据分层架构做如下说明：
贴源层：汇集各类数据、集中统一存储，原则上保持与源数据一致，对于用户而言此层数据还不具备应用价值。
明细层：在贴源层的数据基础上做了数据质量管理，通过对原始数据的校验、清洗、规整，一定程度上提升了数据价值密度，此层数据提供历史明细查询。
轻度汇总层：在明细层数据基础上做了新老数据合并、打通，主题业务逻辑处理，能在较多方面提供数据应用，此层数据开放汇总数据查询接口。
数据集市：通过建立基础指标库，对数据进行多维度分析，提供固化报表服务，输出KPI指标数据，在KPI指标基础上通过数据挖掘算法探索派生指标，提供战略决策支持。
（d）技术架构
本系统核心基于开源大数据组件构建，通过对开源大数据组件的优化、封装、方案集成最终形式平台核心的技术能力。
具体技术架构如下：
主要包含如下几个方面的技术能力：
分布式文件系统，采用开源HADOOP（HDFS）组件实现，HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。电梯运行状态数据具备种类繁多、规模庞大、上报频率高三大特点，以HDFS作为底层文件系统非常合适。
分布式NOSQL数据库系统，采用HBASE组件实现，HBASE基于HDFS文件系统构建，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
统一资源管理，采用YARN组件实现，在大数据环境中，由于数据量庞大，计算资源及内存资源消耗大，系统间资源抢占严重，为系统稳定性带来隐患，统一资源管理是一种通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
海量数据计算引擎，采用Apache Spark组件实现，Spark是专为大规模数据处理而设计的快速通用的计算引擎。在做数据统计分析、机器学习方面具有性能高、扩展性强等特点。目前已集成主流机器学习算法，包括分类回归、聚类、关联规则、推荐、降维、优化、特征抽取筛选、用于特征预处理的数理统计方法、以及算法的评测。
分布式全文索引，采用ElasticSearch组件实现，具备良好扩展能力的搜索引擎技术，通过良好的文本分词及高效索引数据结构，大大提升文本匹配和精确检索效能。
分布式内存数据库，采用Redis组件实现，Redis是高横向扩展、高可用的内存数据库，通过将热点数据放在内存中进行存储的方式，大大提升热点数据检索的性能。
智慧应用平台
（a）行为管理
通过视频行为分析，可以实现对乘梯人行为及情景的基本判断，如乘梯人遮挡门，梯内剧烈运动、携带危险品乘梯（煤气罐等）等一些不安全行为进行视频识别。本项目在疫情期间训练了系统识别未带口罩乘梯的行为。
（b）风险预警
系统通过大数据、人工智能技术结合物联网技术对电梯的运行状态进行实时监测，并通过数据挖掘、数据分析预测电梯可能存在的隐患及故障零部件，例如通过电梯运行速度曲线的异常判断电梯曳引系统的隐患。
（c）危险报警与智慧救援
针对电梯场景内的困人、抢劫、摔倒、出现在逃犯等进行自动报警、第一时间通知物业或者相关政府部门，实现智慧救援，从而使得损失降低到最少。
（d）电梯消毒
系统自动判断电梯内是否存在乘梯人及电梯运行状态如何。在无人且电梯不动的时候开启梯内紫外灯消毒，杜绝电梯成为病毒滋生的场所。
（e）语音呼梯
通过对电梯轿厢内语音的采集，使用云端语音识别算法对梯内语音进行解析，判断乘梯人想去的楼层并对电梯进行相应操作。
（d）智慧梯媒
以PLC电力载波技术为核心，搭建线上媒体投放平台，无需线下替换素材。
项目核心算法与模型
基于垂直梯场景深度学习目标行为识别技术
利用多传感器融合并结合基于深度学习的行为识别技术有效识别困人报警（准确度99%以上，排除保洁，更换广告牌等干扰）。
开关门检测算法集成到相机中，同时结合传感器初步实现困人报警粗过滤功能。但是由于开关门检测算法做到相机里面，由于计算量限制，效果方面开门或者关门存在一定概率的误报；红外传感器判断是否有人存在一定误报，往往由于直梯轿厢内温度差别导致误判为有人；而且基于上述逻辑进行困人判断，不可能排除保洁以及更换广告牌带来的干扰。
所以，基于此提出基于视频深度学习的困人误报后处理算法。在该算法中，同时利用基于深度学习的检测与分类算法判断电梯里面是否有人与门是开还是关闭。其中TRRV算法是18年最新的一种基于深度学习的视频分类方法，我们在它的基础上针对电梯中真实困人、保洁与换广告牌三类行为进行算法调整，最终可以达到在真实困人全部被正确判别的前提下99%的识别率。
基于数据挖掘与机器视觉的实时故障监测与故障预测技术
大数据挖掘与分析技术结合机器学习实现对电梯故障原因的预知。以大数据分析和流媒体技术为基础，通对信息进行有效分析和数据挖掘，建立电梯行业的人工智能，实现对电梯从感知到预知的演化，解决数据价值的实用性转化，从有数据进化到数据有结果，结果可预期。
具体实施主要分三大步骤：
Step1：数据准备与特征工程
数据准备与特征工程是机器学习建模的基础，针对包括数据读取，传感器数据选择，特征提取，构建训练集或测试集。
该过程如下所示：
数据准备流程图
针对电梯行业，主要从以下各个维度进行数据特征提取，实施特征工程：
●电梯运行数据挖掘与分析（速度运行曲线分析、门状态运行时间曲线分析等）
●电梯环境数据挖掘与分析（温度、供电环境（3相电流、3相电压）（可选配）、乘坐人数）
●文明乘梯指标数据挖掘与分析（剧烈运动、长时间档门次数、反复开关门次数）
●电梯基本参数数据挖掘与分析（电梯厂家、安装时间、电梯型号等）
●电梯维保数据挖掘与分析（维保次数、维保过程时间、维保步骤、维修内容、更换配件）
●电梯年检试验数据挖掘与分析。
●维保工基本参数数据挖掘与分析：维保工学历、工作经历、维保电梯数量、经验、是否重大事故等。
在机器学习过程中需要大量的测试样本及训练样本，云梯中电梯故障及困人报警可用来构建样本数据。
Step2：模型训练与评估
Step2将针对step1输出的特征向量以及样本数据完成模型训练，主要构建回归模型、随机深林模型。并对两类模型进行验证，确定效果好的模型进行上线部署。
目前已实现震动检测、电梯冲顶、蹲底、运行中开门、门区外停梯等故障检测。
●震动检测，针对实时上报的实时加速度数据进行频谱变换，得到电梯实时频谱，通过对频谱的实时分析最终检测出震动数据。
●电梯冲顶，该告警描述了电梯出现失控运行高于最高层平层位置12CM，即可触发冲顶告警，主要通过综合判断电梯运行方向、运行速度以及实时检测安装在电梯轨道的光电管状态进行报警判断。
●电梯蹲底，该告警描述了电梯出现失控运行低于最低层平层位置12CM，即可触发蹲底告警，实现机理与电梯冲顶类似，只是运动方向调整位向下。
●运行中开门，该告警描述了电梯在运行电梯门打开故障，通过大数据实时分析接入的状态数据实现此功能。
●门区外停梯，该告警描述了电梯出现在门锁区域外进行了停梯，上告门区外停梯告警，通过大数据实时分析接入的状态数据实现此功能。
电梯运行速度曲线分析
通过电梯运行速度曲线分析推测出各系统故障概率并自动通知运维
基于垂直梯场景深度学习属性识别技术
利用基于深度学习的属性识别技术，通过百万级样本进行训练，结合人体检测与多目标跟踪技术（MOT），使得未戴口罩识别准确率90%以上。
应用效果
自2020年新型冠状病毒肺炎爆发以来，云梯智能防疫管理系统已经在涵盖小区、医院、大型商场、写字楼、政府机关、养老院等公共场所的全国15万台电梯上，滚动播放国家应急管理部肺炎防控知识视频、拒吃野味、科学就医等公益视频累计1亿余次，第一时间传达各省市疫情相关的权威信息。充分利用了电梯这样一个高频、封闭、反复的良好宣传原地，及时向住户、出行人员进行有关防疫工作的通知，开展防疫知识的宣传，真正做到宣传入户，传达到人。
1-3月疫情高峰期累计发出智能困人告警27880次，平均救援时间不到10分钟，有效保障了乘梯人的安全。未戴口罩入梯告警207万余次，通过实时的语音提示规范了乘梯人的行为。
同时，作为行业的领头企业，浙江新再灵科技股份有限公司向武汉协和医院、武汉同济医院两家医院共捐赠了375套云梯智能防疫设备，为抗疫一线提供了有力的科技支撑服务。3月19日央视新闻频道《24小时》栏目，3月24日CCTV13《新闻直播间》栏目先后对新再灵云梯智能防疫产品及此次捐赠进行了报道，起到了良好的社会效益。
关于新再灵
浙江新再灵科技股份有限公司（简称“新再灵”）成立于2007年，是一家基于电梯场景的人工智能和大数据服务企业，主要业务涵盖电梯安全数据服务，电梯数字媒体业务，电梯保险数据服务，智慧城市及社区电梯公共安全数据服务等。一直以来公司秉持让垂直出行更美好的企业之道，致力于提升电梯安全管理能力和效率，让电梯场景数字化和更有价值。公司旗下设有负责电梯数字媒体运营的上海梯之星信息科技有限公司及分布在全国20个城市的26家控股子公司。
新再灵将继续致力于大数据在电梯场景下的应用，为防范电梯安全风险、提升电梯数字媒体价值、构建新型电梯保险业务及打造智慧城市提供更具价值的数据服务。以大数据赋能电梯场景，为建立电梯数字化智能新生态作出贡献。