利用机器学习,进行人体33个2D姿态检测与评估
通过视频进行人体姿势估计在各种应用中起着至关重要的作用,例如量化体育锻炼,手语识别和全身手势控制,还可以在增强现实中将数字内容和信息覆盖在物理世界之上。
MediaPipe Pose是用于高保真人体姿势跟踪的ML解决方案,利用BlazePose研究成果,还从ML Kit Pose Detection API中获得了RGB视频帧的整个33个2D标志(或25个上身标志)。当前最先进的方法主要依靠强大的桌面环境进行推理,而MediaPipe Pose的方法可在大多数现代手机,,甚至是Web上实现实时性能。
人体姿态检测
ML管道
该解决方案利用两步检测器-跟踪器ML管线,管道首先使用检测器在帧内定位人/姿势感兴趣区域(ROI)。跟踪器随后使用ROI裁剪帧作为输入来预测ROI中的姿势界标。请注意,对于视频用例,仅在需要时(即,对于第一帧)以及当跟踪器无法再识别前一帧中的人体姿势时,才调用检测器。对于其他帧,管道仅从前一帧的姿势界标中得出ROI。
人/姿势检测模型(BlazePose检测器)
该检测器的灵感来自于轻型模型,该模型用于,作为器的代理。它明确预测了另外两个虚拟关键点,这些关键点将人体的中心,旋转和缩放牢牢地描述为一个圆圈。,我们预测了人的臀部的中点,外接整个人的圆的半径以及连接肩部和臀部中点的直线的倾斜角度。
姿势地标模型(BlazePose跟踪器)
管道的姿态估计组件预测所有33个人关键点的位置,每个关键点具有三个自由度(x,y位置和可见性)以及上述两个虚拟对齐关键点。与当前采用计算密集型预测的方法不同,我们的模型使用回归方法,该方法由所有关键点的组合热图/偏移量预测进行监督,如下所示。
MediaPipe Pose中的地标模型有两个版本:可以预测33个姿势地标位置的全身模型(请参见下图),以及仅预测前25个姿势的上身模型。后者可能比前25个更为准确。前者主要用于下半身不可见的场景。
python代码实现人体姿态检测
import cv2import mediapipe as mpmp_drawing = mp.solutions.drawing_utilsmp_pose = mp.solutions.posedrawing_spec = mp_drawing.DrawingSpec(thickness=2, circle_radius=1)drawing_spec1 = mp_drawing.DrawingSpec(thickness=2, circle_radius=1,color=(255,255,255))
代码截图
这里我们跟人脸468点检测与人手28点检测类似,首先我们需要建立一个人体姿态评估器mp_pose = mp.solutions.pose
然后建立一个mp_drawing.DrawingSpec画图器,这个是设置画图的颜色,大小以及线的粗细参数,可以参考往期的人脸468点检测与人手28点检测中的关于此函数的介绍
pose = mp_pose.Pose(static_image_mode=True, min_detection_confidence=0.5)file = 'images/4.jpg'image = cv2.imread(file)image_hight, image_width, _ = image.shaperesults = pose.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
代码截图
然后我们使用mp_pose.Pose函数设置检测的参数,其主要参数如下:
查看了原始代码,此函数没有设置多人的参数,不知道为何(官方有待改进),这个需要官方进行改进一下
代码截图
STATIC_IMAGE_MODE
如果设置为false,则解决方案会将输入图像视为视频流。它将尝试在最开始的图像中检测出最杰出的人物,并在成功检测后进一步定位姿势地标。然后,在随后的图像中,它就减少了计算量和等待时间,而无需调用另一次检测就一直跟踪那些界标,直到失去跟踪为止。如果设置为true,人员检测将运行每个输入图像,非常适合处理一批静态的,可能不相关的图像。默认为false。
UPPER_BODY_ONLY
如果设置为true,则解决方案仅输出25个上身姿势界标。否则,它将输出33个姿势地标的完整集合。请注意,对于大多数下半身看不见的用例,仅上半身的预测可能更准确。默认为false。
SMOOTH_LANDMARKS
如果设置为true,则解决方案过滤器会在不同的输入图像上摆出界标以减少抖动,但是如果将static_image_mode也设置为true,则将其忽略。默认为true。
MIN_DETECTION_CONFIDENCE
[0.0, 1.0]来自人员检测模型的最小置信度值()被认为是成功的检测。默认为0.5。
MIN_TRACKING_CONFIDENCE
[0.0, 1.0]来自地标跟踪模型的姿势地标的最小置信度值()将被视为已成功跟踪,否则将在下一个输入图像上自动调用人的检测。将其设置为更高的值可以提高解决方案的健壮性,但代价是更高的延迟。如果是true,则忽略位置,其中人检测仅在每个图像上运行。默认为0.5。
POSE_LANDMARKS
姿势地标列表。每个标记包括以下内容:
· x和y:[0.0, 1.0]分别由图像宽度和高度归一化为的地标坐标。
· z:应该丢弃,因为当前尚未对模型进行充分的训练来预测深度,但这是路线图上的事情。
· visibility:一个值,用于[0.0, 1.0]指示界标在图像中可见(存在且未被遮挡)的可能性。
设置完成后,我们读取一张需要检测的照片,这里设置static_image_mode=True来检测图片,然后转换图片到RGB 颜色空间,使用pose.process函数检测图片的人体姿态,其结果保存在results中
print(f'Nose coordinates: ('f'{results.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE].x * image_width}, 'f'{results.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE].y * image_hight})')# Draw pose landmarks on the image.annotated_image = image.copy()mp_drawing.draw_landmarks(annotated_image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS,landmark_drawing_spec=drawing_spec,connection_drawing_spec=drawing_spec1)cv2.imshow('annotated_image',annotated_image)cv2.waitKey(0)cv2.imwrite('images/pose11.png', annotated_image)pose.close()
代码截图
这里由于pose检测器默认只检测一个人,所以这里不再需要for循环来遍历检测的结果(关于多人的检测我们后期使用OpenCV来实现)
我们直接打印results中的坐标结果,并使用mp_drawing.draw_landmarks函数把检测到的坐标进行连线,最后进行检测结果的保存以便后期分析查看。
人体姿态检测
Python代码实现实时视频人体姿态检测
import cv2import mediapipe as mpimport timemp_drawing = mp.solutions.drawing_utilsmp_pose = mp.solutions.posedrawing_spec = mp_drawing.DrawingSpec(thickness=2, circle_radius=1)drawing_spec1 = mp_drawing.DrawingSpec(thickness=2, circle_radius=1,color=(255,255,255))pose = mp_pose.Pose(min_detection_confidence=0.5, min_tracking_confidence=0.5)
代码截图
这里跟图片检测一致,我们使用mp.solutions.pose函数建立一个pose检测器,并进行pose参数的设置,这里由于是需要检测视频,static_image_mode参数默认为false,然后使用mp_drawing.DrawingSpec建立画图设置。
cap = cv2.VideoCapture(0)time.sleep(2)while cap.isOpened():success, image = cap.read()if not success:print('Ignoring empty camera frame.')continueimage = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)image.flags.writeable = Falseresults = pose.process(image)image.flags.writeable = Trueimage = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)mp_drawing.draw_landmarks(image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS)cv2.imshow('MediaPipe Pose', image)if cv2.waitKey(5) & 0xFF == ord('q'):breakpose.close()cap.release()
代码截图
我们打开系统的默认摄像头,待摄像头打开后,我们使用一个死循环进行视频帧图片的截取,当截取到视频帧中的图片后,我们利用图片检测的方法进行检测,只是这里我们转换图片到RGB颜色空间后,我们使用cv.flip函数来进行图片的翻转操作,以便增强图片数据,然后使用 image.flags.writeable = False
标签标注图片不允许被修改,然后进行图片的人体姿态检测,检测完成后,由于我们需要对图片进行画图,这里重新设置image.flags.writeable = True标签,允许修改图片,最后利用mp_drawing.draw_landmarks函数对图片进行检测点的画图操作,最后实时显示到屏幕上,这样我们就可以看到完整的视频检测的结果了。
当然是用姿态评估,我们可以开发属于自己的应用,比如电视上添加摄像头,实时检测看电视人的姿态,评估是否姿态健康,以及学生上课的姿态,写字姿态等,还可以利用姿态评估对全身运动类的体育进行判断等等
姿态评估
对于人手以及姿态检测,我们后期使用OpenCV的方式进行代码的开发,毕竟我们需要进行多人的姿态评估