人体身份和动作识别的新方法，提升老年人安全监护水平
福州大学物理与信息工程学院的研究人员王召军、许志猛，在2019年第11期《电气技术》杂志上撰文（论文标题为“基于低分辨率红外阵列传感器的人体身份和动作识别”），针对人体身份及动作识别的问题，提出一种基于低分辨率红外阵列传感器并使用卷积神经网络进行分类识别的方法，这种方法可以识别出人的身份和跌倒、坐下以及行走动作。
本文使用的卷积神经网络是基于VGGNet搭建的，由输入层、5层卷积层、3层池化层、1层全连接层和输出层构成，自动提取红外热图像中的信息特征，对身份及动作进行分类，在良好的隐私保护下避免了繁琐的人工提取特征。
经过实验测试，卷积神经网络算法识别动作平均准确率为93.3%，其中行走识别准确率达到100%，坐下识别准确率为90%，跌倒识别准确率为90%，身份识别准确率为96.7%。
随着科技的发展和人们生活水平的提高，人口老龄化现象严重，老年人室内安全监护逐渐受到关注。
国内外早期的跌倒检测方法主要包括基于可穿戴设备的方案、基于视频监控的方案和基于声学的方案。基于可穿戴设备的检测方案，需要在身体各个部位佩戴加速度传感器、陀螺仪等各种传感器来采集使用者加速度或者身体倾角等状态信息，并使用算法判断是否发生跌倒，该方案要求被测试者必须穿戴设备，在使用上受到很大限制，且会造成老年人佩戴不舒适感。
基于视频的监控方案对使用者限制较少，但黑暗中无法正常使用且容易造成隐私泄露，在卧室、浴室、洗手间等私密场所不适合使用。基于声学的检测方案，主要是通过跌倒时对地面的撞击提取声音或者振动等特征，但由于其他外物经常造成干扰，检测准确率较低。
为此，日本庆应义塾大学Jihoon Hong和Tomoaki Ohtsuki等人提出使用松下Grid-eye的8×8红外阵列传感器设计的跌倒检测系统，这种方案采用低分辨率的红外阵列传感器，可以获得红外轮廓，确保隐私不被泄露以及可在黑暗中正常使用；采用机器学习中K-近邻算法进行分类，整个过程需要人工提取特征，且实验结果中坐下识别效果较差，容易造成误判。上海大学的杨任兵等人提出基于同一款红外传感器采集红外图像多特征提取的跌倒检测算法。
上述两个基于红外阵列传感器的识别系统对于跌倒检测具有较好的检测效果，但未能实现坐下、行走等其他动作的识别，且使用人工提取特征的过程繁琐复杂。
身份识别方法一般分为传统识别和生物特征识别两种。又可将生物特征识别分为生理特征识别和行为特征识别。生理特征是指身体先天存在的特征，如指纹、虹膜、人脸等；行为特征是指后天形成的特征，如语音、步态、字迹等。
传统识别方法一般通过物品标识识别身份，但存在易丢失、易被盗的缺点。通过生理特征识别的方法对识别的角度有很高要求，且价格昂贵。近年来，国内外著名大学相继进行身份识别方法研究。
2017年，李倩玉等人提出基于改进深层网络的人脸识别算法，可以提取出目标的鉴别性特征，但当面部出现遮挡或者侧脸时识别准确性较差。
2018年，陈虹旭等人提出基于深度学习的虹膜识别方法，通过提取虹膜特征利用深度学习进行训练识别，但虹膜识别对识别距离有要求，不能远距离识别且需要正对人的眼睛，识别过程受到较大限制。
2018年，田光见等人提出基于连续隐马尔可夫模型的步态识别，通过人走路姿势实现对身份的识别，虽然获得较高的识别率，但算法特征提取过程复杂。目前多采用常见模式识别分类器，特征提取过程复杂且繁琐。
针对以上动作和身份识别方案中的问题和缺点，本文提出一种基于低分辨率红外阵列传感器采集红外热图像，运用深度学习中的卷积神经网络算法自动提取特征的方法，通过步态识别实现身份识别以及实现跌倒、坐下和行走动作的识别。
该方法能够较好地保护使用者的隐私，且避免了繁琐的人工特征提取，又结合深度学习提高了系统的识别效果。该系统可以同时识别身份和动作，对于室内老年人安全监护具有很高的应用价值，在智能居家养老产品上也具有一定的经济意义。
1 系统构成
人体动作和身份识别系统整体结构示意图如图1所示。系统主要由红外阵列传感器、基于树莓派的温度数据采集平台和基于PC的动作识别平台构成。红外阵列传感器分别垂直吊装在天花板和侧面墙壁上，由树莓派通过I2C接口控制，实现探测区域温度分布信息的采集；将采集到的温度数据通过树莓派内置WiFi发送到PC端，PC端通过程序处理生成红外热图像，将每一帧图像保存成数据库，使用卷积神经网络算法（convolutional neural network, CNN）进行训练分类，判断对应人体的动作类别和身份，进而完成识别。
图1 系统整体结构示意图
2 卷积神经网络分类
动作和身份识别算法流程如图2所示。该算法分为3步，即发送温度分布数据、保存每一帧热红外图像和CNN分类识别。
图2 动作和身份识别算法流程图
2.1 卷积神经网络结构
基于VGGNet搭建的卷积神经网络模型主要包括输入层、5层卷积层和3层最大池化层以及1层全连接层和输出层。其结构模型如图3所示。输入的是预处理的图像，尺寸为（96, 96, 3），分别代表了长、宽和深度。
第1层卷积核的尺寸为（3, 3, 32），第2层卷积核的尺寸为（3, 3, 64），第3层卷积核的尺寸为（3, 3, 128）；采用最大池化方法，池化核尺寸为（3, 3）。为了保证卷积后的尺寸和输入尺寸相同，模型使用padding操作。最大池化层长宽步长为2，深度步长为1。
图3 卷积神经网络的结构模型
1）卷积层
卷积层的目的是提取输入的不同特征，卷积层的第一层可提取边缘、线条和角等低级的特征，在叠加搭建更多层卷积层之后的网络能将前期层中提取的低级特征迭代提取为更加复杂的特征。
假设进行步长为1的卷积操作，表示卷积核在输入图像矩阵上每次向右移动一个像素。卷积核网格中都存在一个权重值，在卷积核移动的过程中将输入图像矩阵中的每个像素和卷积核中对应的每个权重值相乘，最后将所有乘积相加得到一个输出结果。卷积计算过程如图4所示。
图4 卷积计算过程图
为使得输出尺寸与输入尺寸相同，卷积层中使用padding操作；模型中使用目前主流的整流线性单元（rectified linear units, ReLU）作为神经网络的激活函数。
2）池化层
池化层的主要作用是对输出筛选降维，筛选掉不重要的特征，提取主要特征，使得特征图减小。池化方法包括平均值池化和最大池化。本文选择最大池化方法，有学者已经验证最大池化效果优于平均值池化。第1层池化层的池化核为（3, 3），第2和3层池化层的池化核均为（2, 2）。池化过程如图5所示。
图5 池化过程图
3）模型训练
本模型用于识别人体姿态动作，用softmax作为输出层函数，计算公式为
模型的优化算法使用Adam进行优化，它是一种随机梯度下降算法，可以加速训练过程。Adam算法优化的不是在全部训练数据上的损失函数，而是在每一轮迭代中，随机优化某一条训练数据上的损失函数。为防止进入局部最小值，模型的学习率为0.001。
训练数据按照32个批次从头到尾读取，载入到内存进行训练，一次迭代完成后，将训练数据重新随机打乱，进入数据的下一代训练，神经网络训练次数为100轮。
4）过拟合处理
为防止模型过度拟合，在模型的Softmax输出层之前加入Dropout层。在模型进行训练时，Dropout层通过设置不同的参数，使得某些隐藏的神经元以一定的概率随机失活，以防止模型发生过拟合状况。
2.2 动作识别
为防止室内意外事故的出现，实现老年人安全监护，现特对老年人行为动作进行采集识别。实验过程中的人体动作识别方法是针对单人行为的。实验过程中让被测试人员在检测区域中模拟老人日常行为动作，分别采集行走、跌倒、坐下3种动作的红外图像建立数据库，再通过卷积神经网络训练分类识别，判断出发生的动作。
2.3 身份识别
为判断出发生跌倒意外事故人员的身份，使用行为特征步态进行识别。步态识别的识别过程是通过采集一段待检测行人正常行走的视频或者保存完成的图像，与已经存储训练完成的视频或者图片数据库进行对比，进而找出待检测行人目标的身份。
步态是一种复杂的行为特征，每个人的步态是不同的，它提供了大量的信息，但由于图像序列的数据量较大，因此计算复杂性较高。步态识别具有数据采集容易、远距离无需接触和难以伪装等优点。传统步态识别是通过视频提取人体节点特征，采用机器学习中的算法进行分类，人工提取特征复杂程度高，不易实现。本文采用CNN算法对每一帧连续图像进行训练，再与数据库对比，从而判断出被测人员的身份。
3 实验测试
1）实验装置
实验装置使用德国海曼公司HTPA32×32红外阵列传感器；树莓派使用3B型号，其系统基于Linux，有SD/MicroSD卡内存硬盘；主板上有USB接口、以太网接口、HDMI高清视频输出接口和GPIO接口；WiFi通信模块。具体实验装置实物如图6（a）所示。
2）实验环境
本实验选择室内普通办公房间，室温在15℃左右。实验测试场景如图6（b）所示。将一个传感器垂直吊装在天花板上，高度为2m；将另一个传感器安装在高度为1m的支架上（模拟垂直安装在侧面墙面），两传感器垂直距离为2.4m。被测实验人员需要根据要求完成正常行走、坐下和跌倒3种动作。
图6a 实验装置实物图
图6b 实验测试场景
3）获取实验数据
使用Keras和CNN构建分类器和CNN算法识别动作实验，测试人员为6名（4男2女），共保存11420张图片，其中训练集11120张，测试集300张。实验行为动作模拟如图7所示。
当使用CNN算法识别身份实验时，采用步态方法进行识别，测试人员5名（3女2男），共采集2888张图片，其中训练集2858张，测试集30张。实验步态识别图如图8所示。
4 实验结果
当使用卷积神经网络进行动作识别时，系统平均准确率为93.3%，行走准确率高达100%，跌倒准确率为90%，坐下准确率为90%。步态识别的准确率为96.7%。由CNN算法的实验分类识别结果可知，整体识别准确率较高。但动作识别过程中由于坐在椅子上呈半躺状态和跌倒时轮廓面积类似，所以易造成错误分类。
图7 实验行为动作模拟图
图8 实验步态识别图
本文构建了一种基于低分辨率红外阵列传感器的人体身份识别和动作识别系统。通过提取监测区域温度分布信息的特征，使用CNN算法测得行走、坐下和跌倒的检测准确率分别为100%、90%和90%，3种人体行为的平均识别准确率为93.3%；使用步态特征的身份识别准确率为96.7%。该系统在老年人生命健康安全监护领域具有很高的应用价值。
未来，可测试在多人情况下识别人体发生的动作，以期在系统检测到异常行为动作时做出更加准确的处理方案。