基于姿态特征的建筑工人不安全行为刻画方法
时间：2023-02-16 15:20:08 来源：千叶帆 本文已影响人
段品生,周建亮
(中国矿业大学力学与土木工程学院，江苏 徐州 221116)
建筑工人的不安全行为是造成施工安全事故的最主要原因，占比达80%以上[1]。在当前的安全管理实践中，对不安全行为管控多集中于广泛的安全教育，未形成全面的针对个体行为的安全控制机制与方法[2]。而在信息与网络领域，基于网络行为的用户刻画方法已经在信息检索[3]、兴趣推荐[4]等方面得到了广泛的应用，实现了从用户角度出发的个性化内容推荐。相类似地，建筑工人也有着多样化的安全管理需求，且个性化安全管理在复杂的施工现场具有显著的优势[5]。因此，研究刻画建筑工人不安全行为的方法，发现个体的行为规律及趋势，对预防人因错误、制定个性化行为矫正策略、提高安全生产边界具有重要的意义。
建筑工程施工活动是由一系列动作组成的，每个动作包括一系列的移动，不良动作往往会产生有别于稳定状态的姿态扰动，进而引发不安全行为，因此可以通过分析姿态特征来刻画建筑工人的不安全行为。当前研究中的行为刻画方法主要包括基于调查和观察的方法、基于传感器的方法和基于计算机视觉的方法等。基于调查和观察的方法虽然能采集到相对合理的数据，但是过程耗时长且效率不高[6]。基于传感器的方法可以实时采集到相对准确的建筑工人动作数据，例如：Kim等[7]基于长短期记忆网络和运动传感器研究了传感器位置和数量对建筑工人运动识别的影响；
张明媛等[8]设计了基于智能手机和人工神经网络识别施工人员跌落险兆事故的方法，获得了90.50%的准确率。由于无需在建筑工人身上固定可能干扰正常施工的传感器设备，基于计算机视觉的方法在行为刻画研究方面已引起了广泛的关注，例如：张博等[9]、王雨生等[10]提出了一种基于计算机视觉和姿态估计的安全帽佩戴检测方法，提高了安全帽佩戴检测的准确度和环境适用性；
Guo等[11]结合施工安全知识和人体工程学原理提出了一种基于姿态骨架的建筑工人不安全行为识别方法；
Ding等[12]开发了一种基于CNN和LSTM的工人不安全行为分类模型，该模型能够以较高的准确性自动提取工人的不安全行为。
然而，上述研究方法大多只是分析了与建筑工人不安全行为相关的直接信息，而缺少对建筑工人不安全行为之中隐藏姿态动态变化特征的刻画，未形成基于此来划分建筑工人不同行为群体的方法。因此，本文提出了一种基于姿态特征的建筑工人不安全行为刻画方法。该方法通过普通RGB摄像头采集建筑工人在实际施工场景下的视频图像，利用OpenPose卷积神经网络提取建筑工人的姿态关键点，并运用潜在类别聚类分析(Latent Class Clustering Analysis，LCCA)方法刻画不同群体建筑工人的姿态特征信息。该研究结果对揭示建筑工人个体特征差异、促进建筑工人不安全行为的个性化安全管理具有重要的现实意义。
由于建筑工程施工活动是一系列动作的组合，建筑工人的很多不安全行为与不良动作密切相关，因此本文提出了一种通过分析工人工作视频中的姿态来刻画建筑工人施工过程中不安全行为的方法。该方法通过普通的RGB摄像头采集工人工作时的姿态关键点，以施工动作的动态变化特征表征建筑工人施工过程中的不安全行为，并基于统计分析和LCCA模型刻画建筑工人的行为画像，分别确定事实标签及模型标签。该方法的基本思路为：首先，基于OpenPose方法[13-14]提取现场建筑工人工作视频中的行为姿态关键点，确定建筑工人不安全行为中的4种不良动作及12个事实标签，并针对建筑工人每种施工动作制定相应的划分规则，以独特表征不同的施工动作；
然后，通过LCCA方法对采集的事实标签进行聚类分析，提取建筑工人行为模型标签；
最后，管理人员可基于此制定个性化的行为矫正策略。基于姿态特征的建筑工人不安全行为刻画方法及具体流程，见图1。
图1 基于姿态特征的建筑工人不安全行为刻画方法及流程
2.1 基于OpenPose的建筑工人姿态关键点获取
以普通的RGB摄像头作为视频数据采集设备，通过分析视频数据来提取建筑工人施工时的行为姿态，并采集工人不安全行为状态的关键特征参数。为了高效提取建筑工人的行为状态，本文采用美国卡耐基梅隆大学开发的OpenPose人体姿态识别开源库，该库基于卷积神经网络和监督学习，可以实现单人或多人的人体动作姿态实时估计。与依赖于专用设备的姿态采集设备，如Kinect、惯性测量单元等相比，OpenPose人体姿态识别开源库可以通过分析视频在不干扰工人正常工作状态的情况下准确提取人体姿态骨架。
已开发的OpenPose人体姿态识别开源库最高可实现对工人25个姿态骨架关键点以及面部和手指关节的准确提取。为了提高数据处理的效率，本文根据BODY_18模型(见图2)，可实时提取工人工作视频中18个姿态关键点的坐标，见图3。
图2 BODY_18模型中人体姿态关键点的位置
图3 基于RGB图像的工人工作视频中姿态关键点坐标确定示例
2.2 建筑工人不安全行为特征表征和事实标签确定
基于用户画像理论，建筑工人不安全行为的事实标签可以定义为利用直接采集到的定量数据描述和刻画特定的动作。参考我国《企业职工伤亡事故分类》(GB 6441—1986)国家标准及相关资料，建筑工人的不安全行为可以分为13个类别。本文采用手动方法分析其中与建筑工人自身相关的不安全行为中的主要动作，其结果见表1。特别地，对于在高处作业的建筑工人(如屋面作业人员等)而言，这些主要动作可能会引发其身体的稳定状态出现较大的变动，一旦工人对自身稳定性判断失误，其高处坠落的安全风险将会显著增加。因此，建筑工人在高处作业时应尽量减少这些主要动作的出现，这将有利于其保持自身的稳定性，进而降低建筑施工作业的安全风险。由于这些主要动作的变化特征存在着显著的差异[11]，故可以通过对动作变化特征的描述来刻画建筑工人的不安全行为。
表1 与建筑工人自身相关的不安全行为中主要动作分析示例
根据表1的分析结果及相关标准[15]，本文将建筑工人复杂的行为简化为多个主要动作，从而可以提高行为刻画的效率。精细化描述上述动作，明确工人主要动作为：A.手肘超过肩膀；
B.颈部弯曲大于30°；
C.背部弯曲大于30°；
D.下蹲或跪下。
基于上述分析，制定每项动作的3个特征参数，即动作持续时间、动作出现次数和重复动作次数，其中重复动作为上述相同的两个动作时间间隔在0.2～2 s之间，且重复次数在3次及以上。通过主要动作的变化特征可衡量建筑工人不稳定状态的强度，特征值越大，则其不稳定状态越强，高处坠落的安全风险越高。建筑工人不安全行为特征表征和事实标签，见表2。
表2 建筑工人不安全行为特征表征和事实标签
2.3 建筑工人动作阈值判断与验证
图4 建筑工人动作角度示意图
(1)
(2)
上式中：Xi表示第i处的人体姿态关键点横坐标；
Yi表示第i处的人体姿态关键点纵坐标。
(3)
对比上述人体姿态关键节点坐标及角度在不同动作时的变化,可以看到不同动作更直观的变化模式。本文通过RGB摄像头采集一名建筑工人在模拟上述不安全行为时的4个动作，每个动作重复3次，记录工人姿态关键节点坐标及角度变化，模拟试验结果见图5。
图5 不同动作姿态关键节点坐标及角度变化的模拟试验结果
由图5可知，在建筑工人模拟上述4个动作时，相应的姿态关键点坐标及角度呈现出独特的周期性变化，这与模拟试验中建筑工人的行为规律相一致。建筑工人这些动作与正常状态相比存在明显的不稳定变化，因此利用前文所述方法采集事实标签数据是可行的，且动作的判断阈值(角度阈值在图5中用虚线标注)可以用于区分建筑工人的不同动作状态。
2.4 建筑工人动作划分性能评价
由于目前针对建筑工人这种行为刻画结果的划分没有统一的标准，因此本文参考分类算法的通用评价参数对运用该方法划分建筑工人动作性能进行了评价，主要的评价参数包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1分数(F1score)[16]。各参数的计算公式如下：
(4)
(5)
(6)
(7)
上式中：TP表示实际发生某动作，而检测为同样动作的正样本数量(个)；
TN为实际未发生某动作，而检测同样未发生某动作的负样本数量(个)；
FP表示实际未发生某动作，而检测到发生了某动作的正样本数量(个)；
FN为实际发生了某动作，而检测未发生该动作的负样本数量(个)。
上述参数值越接近1，表明建筑工人动作划分的性能越好。
2.5 基于LCCA的模型标签确定
事实标签可以直接反映出一名建筑工人在一定时间范围内不安全行为的发生情况，却难以挖掘其潜在的偏好表现。因此，基于上述12个事实标签可确定建筑工人行为的模型标签，用来衡量其不安全行为的偏好。模型标签的确定过程可以看作是一种聚类问题，因此本文采用潜在类别聚类分析方法确定建筑工人行为的模型标签[17]。采用LCCA方法将建筑工人个体划分为难以观察的多个亚群体，这些亚群体可以由一组未被观察到，必须从数据中推断的分类潜变量表示。假设潜在类别中的多变量符合正态分布，则可将这种模式表示如下：
(8)
(9)
对聚类的准确度，可以采用基于信息准则的方法来衡量，包括赤池信息准则(AIC、CAIC)、贝叶斯信息准则(BIC、ICL_BIC)等[17]。这些数据数值越低，表示模型的拟合精度越高。本文采用Intel(R) i7-9750H处理器，基于XLSTAT软件处理采集到的数据，将聚类个数设定为1～8，并根据信息准则确定最合适的聚类个数。
3.1 建筑工人动作划分结果与验证
本文以实际施工场景为例，对所提出的基于姿态特征的建筑工人不安全行为刻画方法进行了验证。尽管持续观察法(如全天观察)可以有效且全面地刻画建筑工人的不安全行为，但抽样方法(如随机抽样)也可为工人不安全行为刻画提供无偏见且具有统计代表性的数据。因此，本研究在施工现场随机采集18名男性建筑工人的施工视频数据，包括12名抹灰工人、5名混凝土工人和1名特种作业(吊篮作业)工人，他们均为从事建筑装饰装修类专业工种的工人，需要经常攀爬梯子、吊篮等，属于高处作业人员。工人的平均年龄为41.67岁±6.49岁，采集的视频帧数率为30帧/s，每个视频共5 400帧。手动观察视频片段，从视频中提取表2所述的4个主要动作并统计其动作特征参数，其统计结果见表3。
表3 某实际施工场景建筑工人不安全行为原始数据的统计分析结果
选择建筑工人施工视频数据中前300帧视频画面作为验证视频，每50帧视频画面输出一个测试图像，其输出结果见图6。
图6 建筑工人施工验证视频的序列帧
由图6可以直观地看出，OpenPose可以准确地识别出建筑工人大多数的姿态关键点，且从大部分视频帧可以准确检测到建筑工人的姿态关键点并形成骨架，而部分帧(如第250帧)存在骨架连接缺失的情况，但动作划分的姿态关键点均已被识别出来，因此并未对建筑工人的动作刻画产生严重的影响，表明该方法在建筑工人不安全行为事实标签的提取方面具有一定的鲁棒性。
对某建筑工人施工视频数据中前300帧视频画面的全部动作进行整体刻画，其刻画结果见图7。当检测到出现某动作时，标记为1，否则为0。
图7 某建筑工人施工视频数据中前300帧视频画面的动作刻画结果
由图7可以看出，该建筑工人在这300帧视频画面中，大部分时间，特别是在前150帧视频画面中，表现出两种及以上的不安全行为动作，其动作刻画结果与该名工人的实际施工表现相一致。
进一步地，采用建筑工人动作划分性能评价参数评估划分结果，见表4。
表4 建筑工人动作划分性能评价参数的测试结果
由表4可知，对于动作A、B、C、D，本文方法动作划分结果的准确率达到了97.01%、97.34%、96.01%和92.03%，精确率也达到了88.16%、100%、93.75%和66.15%。总的来说，该方法对建筑工人不安全行为不同动作划分具有较高的敏感度，可以用于区分建筑工人的不同动作状态。此外，由表4还可知，召回率和F1分数值相对较高，说明动作误判的概率较低，表明该方法可以用于建筑工人不安全行为动作的划分。为此，本文利用该方法采集了18位建筑工人不安全行为动作的事实标签。
3.2 模型标签确定与验证
首先，利用采集视频中建筑工人的动作数据，采用LCCA方法划分聚类团体，以确定模型标签，并通过分析AIC、CAIC、BIC和ICL_BIC的数值变化确定合理的聚类个数，其结果见表5。
由表5可知，上述信息准则参数在5个聚类时基本稳定，且参数值相对较小。因此，选择聚类个数为5是较为合理的，确定的模型标签个数为5。
表5 基于LCCA的模型聚类准确性度量
然后，根据聚类类别和类别内的事实标签确定行为偏好和模型标签。相对而言，事实标签数据的数值越高，说明建筑工人不良动作的时间和频率越高，因此出现不安全行为的可能性较大，建筑工人面临的安全风险较高；
相反，事实标签数据的数值越低，说明建筑工人不良动作的时间和频率越低，因此出现不安全行为的可能性较低，建筑工人面临的安全风险较低。由于事实标签数量较多，因此对模型标签的划分采用更加概念化的方式进行，依据聚类个数将其划分为5类，分别为低危型、中危型、高危-重复偏好型、高危-时间偏好型和高危-次数偏好型，见表6。
表6 基于LCCA的模型标签确定
由表6可知，在验证视频的18名建筑工人中，高危型偏好的建筑工人数量占比为45.26%。
基于划分的模型标签，可以为不同行为偏好的建筑工人制定差异化的不安全行为矫正策略，以实现安全的个性化管控。其中，对于低危型的建筑工人，可持续不定期监测其行为状态；
对于中危型的建筑工人，需要采取定期监控的措施，并根据实际的行为表现适时干预其行为状态；
对于高危型的建筑工人，其行为存在明显的安全风险，应根据其行为偏好制定具体的安全防护、行为干预和安全教育等措施。
建筑施工活动是由一系列动作组成的，且建筑工人不安全行为与不良动作密切相关，基于此本文提出了一种基于动作姿态特征的、可用于视频监控的建筑工人不安全行为刻画方法。该方法融合建筑工人施工姿态特征信息，采用LCCA方法设计了行为刻画模型标签，并基于实际施工视频对该方法的有效性进行了验证，结果表明：该方法在动作划分方面取得了95.60%的平均准确率和87.02%的平均精确率；
在模型标签方面将建筑工人划分为5种不同的行为偏好群体是合理的。该方法可用于基于现场监控视频的工人行为分析，实时检测工人行为的高风险偏好,确保工人的自身安全与健康。然而，受到施工现场场景、光线、障碍物等因素的影响，在实际施工中使用该方法可能会存在部分关键动作特征点无法提取的情况。未来的研究可以考虑融合传感器数据，基于多标签融合获取更加全面的工人行为信息；
另外，基于该方法还可以开发出相应的工人不安全行为动态管控系统，以提高企业安全风险管理效率。
