Harris与SURF特征点检测的手术器械机器视觉识别方法*
时间：2023-03-23 12:05:03 来源：千叶帆 本文已影响人
陈贤儿，梁 丹，傅云龙，梁冬泰，刘 涛
(宁波大学 机械工程与力学学院，浙江 宁波 315211)
随着科技进步，机器人应用的领域越来越来越广泛[1]。在医疗领域，外科手术器械护士机器人能够完成对手术器械的识别、拾取、传递以及回收手术器械的任务，减轻器械护士的工作负担，减少医护人员在手术中感染疾病的风险。目前，器械护士机器人多利用存放位置的编码信息，仅可对固定位置器械进行存放和拿取，无法灵活实现手术器械的识别、定位和存取[2，3]。
近年来，机器视觉技术在工业零部件缺陷检测方面得到广泛应用，展现出较好的检测效果和应用价值[4]。将机器视觉技术用于手术器械的识别与定位，将有助于提高器械护士机器人的灵活性和适应性。在基于机器视觉的目标识别与定位方面，国内外许多研究学者开展了一系列相关研究。例如，俞辉等人[5]提出了一种基于轮廓特征的图像拼接算法，用形状签名代替链码来描述轮廓,提高了计算速度,降低由噪声干扰和镜头形变造成的影响。谢昕等人[6]提出了一种基于压缩感知的SIFT图像匹配算法，利用压缩感知技术，结合SIFT算法提取图像的特征点进行图像快速匹配搜索，找到最佳匹配位置。Zhang N L等人[7]使用采用模糊K-means算法对SIFT算法进行改进，能够保持较高的图像匹配精度。蔡慧英等人[8]提出了一种仿射变换下基于凸包和多尺度积分特征的形状匹配方法，适用于复杂形状的匹配。上述方法中，基于轮廓以及凸包的方法虽然能够提升运算的效率与速度，但存在鲁棒性较差的问题，容易受到外界因素的干扰。基于SIFT算子的方法虽然能够提升局部特征的匹配准确率，但存在计算时间较长的缺点。
针对手术器械快速识别以及定位需求，本文提出一种基于Harris与SURF特征点检测的手术器械视觉检测方法。搭建手术器械机器视觉检测平台，通过视觉识别与定位实验对本文方法的有效性进行验证。
基于机器视觉的手术机械识别与分类方法的流程，如图1所示。1)通过形态学操作以及MASK匀光校正算法对采集的手术器械图像进行预处理，消除噪声和由于手术器械金属表面光泽反射造成的干扰。2)通过改进的基于几何映射的Harris角点检测算法实现无堆叠手术器械的匹配，并通过基于轮廓的质心法进行定位。3)通过基于SURF特征+FLANN搜索的匹配算法实现堆叠手术器械的匹配。4)通过基于SURF特征点的质心定位方法对堆叠手术器械进行定位。
图1 本文算法总体流程
1.1 图像预处理
在图像获取过程中，由于外部光照不均、血污以及图像传输等因素造成的噪音和干扰，会影响成像质量的好坏，从而直接影响识别效果。为减少由金属器械光照反射对边缘轮廓提取的影响，对被采集图像进行MASK匀光亮度校正处理[9],如图2所示。
图2 MASK匀光算法处理示意
1.2 基于几何映射的Harris角点检测改进算法
Harris角点检测算法是通过图像的相关性及微分运算来计算特征点，具有旋转不变性以及高准确度等特点[10]。通过固定窗口在输入图像中进行任意方向滑动，对比滑动前后窗口内的灰度变化，进而确定窗口内是否存在角点。窗口内像素点灰度变化描述如下
(1)
式中 (u,v)为窗口偏移量；
(x,y)为窗口内像素点的坐标值；
w(x,y)为窗口函数。将E(u,v)进行泰勒展开如下
(2)
即E(u,v)表达式为
(3)
其中，M为
(4)
式(3)为二次项函数，通过对比M矩阵的特征值λ1、λ2确定是否存在角点。当λ1,λ2均为较小值时，说明像素点所在区域为“平坦区域”；
当λ1,λ2为一小一大时，说明像素点处于图像边界上；
当λ1、λ2均为较大值且近似相等时，则说明像素点所在区域为角点。定义角点响应函数R如下
R=detM-K(traceM)2，detM=λ1λ2，traceM=λ1+λ2
(5)
式中 detM为矩阵M的行列式值，traceM为矩阵M的迹，K为经验常数。当R(x,y)大于设置的阈值时，则判定该像素点(x,y)为角点。
Harris角点提取的效果完全依赖于单阈值的设定。若阈值较大，会失去部分角点信息；
若阈值较小，则会产生许多伪角点，并且加大算法的计算量。在现实场景的噪声干扰下，也易出现误匹配的现象，不利于实时角点匹配以及定位的要求。对此，本文设计一种基于几何映射的Harris角点匹配算法。1)通过K-means聚类分割提取背景轮廓，得到背景遮罩。2)使用Canny边缘检测算法提取遮罩边缘轮廓，提取轮廓质心，并构建轮廓最小外接矩形。3)连接轮廓质心、外接矩形远质心端端点和近质心短边中点，构建新的几何特征，建立轮廓与几何特征的映射关系。4)通过Harris角点检测算法对新的几何特征进行检测与匹配。
Harris角点检测算法示意如图3所示。
图3 改进的基于几何映射的Harris角点检测算法示意
1.3 基于SURF算子的堆叠手术器械检测
本文设计改进的Harris角点检测算法主要基于图像轮廓质心，在面对堆叠物体的情况下易构建出错误的几何特征，进而影响识别效果。本文设计基于SURF算子的特征匹配方法以有效检测器械的堆叠，主要包括以下6个步骤：SURF特征点检测、构建尺度空间、特征点定位、选取特征点方向、生成特征点描述子和FLANN特征匹配。
1.3.1 SURF特征点检测
Hessian矩阵是SURF算子的核心，计算Hessian矩阵的极值来获得稳定点，通过矩阵行列式的最大值来确定特征点的位置。设图像为f(x,y)，则其图像上的像素点的Hessian矩阵可表示为
(6)
Hessian矩阵的判别式为
(7)
特征点需要具备尺度无关性，在构造Hessian矩阵前需进行高斯滤波，如下所示
(8)
为提高运算速度，采用盒式滤波器来代替高斯滤波器在x,y,xy这3个方向的近似值[11]，并分别记为Lxx,Lyy,Lxy，则Hessian矩阵判别式的近似计算可以表示为
det(H)=LxxLyy-(0.9Lxy)2
(9)
当Hessian矩阵的判别式在局部取极大值时，说明其像素点在周围区域内更亮或更暗，从而定位出兴趣点的位置。
1.3.2 尺度空间构建与特征点定位
在SURF算法中，保持高斯模板不变，通过对目标图像进行降采样得到多幅图像，并利用图像金字塔计算得到其差分图像[12]。在图像不同尺寸中定位特征点，需选择合适的阈值。采用3×3×3邻域进行非最大值抑制，对选出的兴趣点采用3维线性插值法得到亚像素级的特征点。
1.3.3 生成特征点描述子与FLANN特征匹配
通过计算出特征点的位置与主方向，在局部区域内生成特征点描述子。由于SURF特征向量的高维空间计算量较大，目前相对有效的方法是采用FLANN算法中的KD-TREE进行高速匹配。本文采用文献[13]的基于随机抽样一致性(random sample consensus,RANSAC)算法删除错误匹配点，可处理错误率超过50 %的匹配对，进而提高匹配的鲁棒性并减少错匹配点。图4为目标物体与匹配图像。
图4 目标物体与左图像的匹配
1.4 目标定位
对于无堆叠的手术器械，可直接提取外部轮廓的质心作为定位坐标点。而堆叠的手术器械轮廓难以确定质心，本文采用基于SURF特征点的质心定位方法进行计算。
1)提取模板图像的质心(rchar,cchar),计算各个邻近SURF特征点之间和特征点与模板质心之间的距离
(10)
式中r为模板图像特征点与模板图像质心的距离，l为模板SURF特征点与邻近特征点的距离。[r,c]为模板图像SURF特征点坐标数组。
2)计算待定位目标各个邻近SURF特征点之间的距离Li，并计算模板特征点距离的比值ki，通过票选法得到通用比例系数K
(11)
3)待定位目标内的任意SURF特征点坐标与其质心点坐标(x,y)关系可用如下矩阵形式描述
(12)
利用工业相机拍摄的100张随机组合摆放的手术器械图片进行识别实验。实验平台如图5所示，由工业相机、环形光源和计算机组成。其中，工业相机为海康威视MV—CE120—10GM/GC，最大分辨率为4 024×3 036；
镜头型号为WL281236—5MP—2；
环形光源型号为CCSCHPR—100SE。检测目标手术器械如图6所示。
图5 实验平台
图6 目标手术器械
通过Visual Studio 2019、OpenCV 3.4.1进行算法编程实验，并将本文方法与Harris角点检测、SIFT算法、文献[14]和文献[15]进行比对。采用手术器械中常见的直手术剪、组织镊和手术刀等进行识别实验。采用查准率ρ、查全率φ和算法时间T来测试算法性能ρ=IT/IA，φ=IT/WT。其中，IT为识别目标器械数量，IA为识别器械的数量，WT为待匹配器械中目标器械的数量。
如表1所示，本文平均查准率和平均查全率分别为90.2 %和92.4 %，算法平均匹配时间为3.15 s。可取得较好的识别效果和识别速度。
表1 5种图像匹配方法性能比较
由表2中数据分析可知，文献[16]直接提取轮廓外接矩形中心进行定位,平均消耗时间最短，但无法处理堆叠图像，其平均定位准确率最低。文献[17]通过仿射变换提取的匹配点个数较多，准确率较高，但平均消耗时间过长。本文方法提取的匹配点个数适中，匹配率较高、耗时较少，平均匹配点数为21.8对，平均定位准确率为93.2 %，算法平均消耗时间为1.61 s。
表2 3种定位方法性能比较
本文提出一种基于Harris和SURF特征点的手术器械视觉识别与定位方法。针对Harris角点检测算法依赖于单阈值设定的问题，构造目标器械的全局特征，采用改进的Harris角点检测算法实现无堆叠手术器械的快速识别。利用 SURF 算法提取图像特征信息，采用KD-Tree搜索相似的特征矢量，通过SURF特征点实现堆叠手术器械的快速识别与定位。实验结果表明：本文方法的识别准确率和识别时间分别为92.4 %和3.15 s。本文提出的手术器械机器视觉检测方法，识别效果和稳定性好，可应用于手术器械的快速识别与定位。
猜你喜欢 角点手术器械质心 重型半挂汽车质量与质心位置估计汽车实用技术(2022年14期)2022-07-30基于GNSS测量的天宫二号质心确定北京航空航天大学学报(2021年4期)2021-11-24持续质量改进对手术器械供应及时性与准确性的影响世界最新医学信息文摘(2021年12期)2021-06-09基于FAST角点检测算法上对Y型与X型角点的检测电子技术与软件工程(2018年10期)2018-07-16基于边缘的角点分类和描述算法电子科技(2016年12期)2016-12-26基于圆环模板的改进Harris角点检测算法系统工程与电子技术(2016年4期)2016-08-24综合管理在减少手术器械包装质量缺陷中的应用效果中国当代医药(2015年20期)2015-03-01黑白棋盘格中的角点提取算法的研究*网络安全与数据管理(2014年9期)2014-08-16一种海洋测高卫星质心在轨估计算法航天器工程(2014年5期)2014-03-11提高手术器械准备完善率中国卫生质量管理(2014年5期)2014-02-28 相关热词搜索：识别，特征，视觉，
