山区高速公路隧道出入口视觉融合技术研究
时间：2023-04-21 09:05:05 来源：千叶帆 本文已影响人
马庆禄,马 恋,王江华,孔国英
(1.重庆交通大学交通运输学院,重庆 400074；
2.山区复杂道路环境“人-车-路”协同与安全重庆市重点实验室,重庆 400074；
3.重庆奉建高速公路有限公司,重庆 401120)
随着山区地形复杂公路的增加,山区桥隧的数量也在增加。2020年年末全国公路隧道21316处,比上一年增加2249处,其中特长隧道1394处,长隧道5541处。隧道口内外光照强度差异大使驾驶员在驶入隧道中由于强弱参照系的反差,往往是发生交通事故的主要原因。针对隧道口区域,单一的传感器在外界复杂道路条件下无法克服空间分辨率的问题,减少驾驶员由于视觉冲击带来的视觉负荷,对入口交通改善措施进行研究是隧道安全工作的重中之重。
目前隧道入口交通安全改善主要集中在改变照明方式,J.L.Xu等[1]使用UC-Win/Road仿真软件,建立了12个不同长度的隧道模型,在隧道入口前250 m和出口前50 m,驾驶员的心率(HR)波动显著；
在隧道出口,HR受隧道长度的影响较大且变化越大。D.H.Qi等[2]为了使道路隧道能源系统更具可持续性和弹性,在隧道的出入口安装半透明光伏(STPV)顶棚。H.Lu等[3]为减少隧道出入口段造成的交通事故数量,提出了合理的隧道出入口段限速值,以提高隧道出入口段车辆行驶的安全性。L.Wang等[4]介绍了一种以机器视觉为基础的根据夜间行驶车辆的灯光效应生成的报警系统,一旦发现风险,系统会及时发出警告信号。A.Nowosielski等[5]用于目标识别的夜视系统使用Ubuntu MATE操作系统下的专有ODROID XU4微型计算机处理热图像,扩展了人类视觉的能力,支持安全出行。U.Lee等[6]在不同的天气条件下为自动驾驶汽车配备传感器融合算法,该算法被应用于无人驾驶汽车EureCar(KAIST)。H.Chen[7]广泛使用的驾驶录像机(DVRs)作为具有高移动性的分布式传感器进行道路异常的普适感知。Z.F.Zhang等[8]介绍了一种用于夜间安全驾驶的带自动控制灯的主动近红外摄像系统。对捕获的目标红外图像进行图像分割和图像形态学处理,提高了司机的判断准确性。在低光和高动态范围性能条件下,为了解决低照度下的照明条件的挑战,M.Gehrig等[9]提出了一个新的数据集(DSEC)。D.Hafner和J.Weickert[10]将输出图像定义为输入图像的凸组合,利用局部响应和非线性响应等对比度增强方法,然后进行曝光融合、多光谱成像和脱色实现定制图像融合。周正康[11]提出利用隧道传感器指挥调度隧道信号灯,利用数据输入和输出动态控制隧道进出口区域的信息交流,但是隧道全天候照明不免会造成能源浪费；
王向等[12]在采用减光设施,在隧道入口采取非主动的措施实现强弱参照系合理过渡的视觉体验；
梅家林等[13]指出提升交通安全水平可通过在隧道入口区域利用平衡空间路权、驾驶员的心理状态和道路行驶要求等策略；
黄婷等[14]从驾驶员的视认距离出发,对比了环形和矩形标记的特点,提出环形立面比矩形有更高的辨识度,视认距离更有保障；
陈柳晓等[15]为了保障驾驶员的行车安全,对比分析了3种不同颜色(绿色、黄色、红色)景观设计,实验结论是随着间隔减小,黄色设计减速效果明显；
杜志刚等[16]为提高驾驶员的曲率感知能力在隧道曲线段设置了多个可见反光环；
吴玲等[17]将减速标线的形状设计成鱼刺形和树池性减速标线应用于隧道入口段和出口段,并通过设置参数对模型计算。
针对单一传感器图像存在的信息不足,相较于多源传感器获得目标的局限性和差异性,本文提出基于卷积稀疏表示(convolution sparse representation,CSR)和局部能量特征处理的红外与可见光融合研究对隧道出入口视觉信息互补。
2.1 隧道出入口特性
山区隧道出入口具有封闭、明暗对比度差,一旦发生交通事故存在空间狭小,救援困难的缺点。驾驶员根据接收到的信号由各感官的提供,视觉信息占比在70 %～80 %之间[18]。山体隧道在现行隧道在速度行驶、行车安全等方面与普通公路隧道有许多差异,如图(1)所示,光照强度随着季节变化,时间段的区别、环境的变化对驾驶员影响不同。
在隧道内驾驶员随着自然光照与隧道光源影响,隧道出入口段注视点的位置和次数捕捉信息能力降低,撞击侧墙、追尾成为事故发生的主要原因。对于货运车辆,此阶段货运司机获取交通信息变得更加复杂多变。隧道交通安全设施改善中,也存在现有标志标线、彩色涂装生命周期短,因此本文旨在关注人因(Human factor)以减少人的失误(Human error)为主,驾驶员根据视觉信息有效调控驾驶员在隧道出入口,减少因光线过渡原因诱发,能够有效地完成车辆控制。
2.2 非下采样Contourlet变换
为提高隧道可见光所呈现的视觉信息和增强红外像素暗处细节,下面通过与原始可见光图像融合进一步提高增强图像中的多传感器信息。Cunha在2005年提出了非下采样Contourlet变换(NSCT)具有很好的平移不变性和方向选择性,多分辨率效果明显。相较于Contourlet变换已有良好的空域和频域局部特征,NSCT避免图像退化过程中信息量的丢失。
NSP的低通分解滤波器H0(z)和高通分解滤波器H1(z)将图像分为低频子带和高频子带,采用分离的高频子带作为细节层,低频子带通过下一级低通分解滤波器H0(z2l)和高通滤波器H1(z2l)分解为低频子带和带通子带,分离出的带频区成为下一个级别的细节层,分离m级细节层的滤波器称为ψm(z),如式(1)所示:
(1)
细节层和低频子带用于分离下一级,若进行m层分解,分解后的低频子带层记为m,其中m=1,2,…,M,当m=1和m=M时,为分辨率最高和最低的层级,分解后的低频子带层为G(·),细节层为L(·),原始图像为I0(·),在第m级分解为Gm(·)和Lm(·),NSP分解的细节层进行NSDFB方向分解,在第m级分解为Nm(·),其中n=1,2,…,Nm,第n个方向和第m个尺度的子带为Lm,n(·)。
2.3 局部能量特征处理
利用加权局部能量和局部能量比将隧道入口的红外与可见光图像的低频子带结构细节信息保存:
(2)
R(x,y)=Ei(x,y)/Ev(x,y)
(3)
R(x,y)表示红外局部能量与可见光局部能量的占比,Ei(x,y)相对于Ev(x,y)越大,其像素越有可能属于目标,但是式(3)R(x,y)受Ei(x,y)和Ev(x,y)共同作用。因此,对于融合图像应尽可能保留红外图像中目标的高亮特征。
CF(x,y)=
(4)
式中,CF(x,y)为融合图像的低频系数；
uI、uV分别为加权系数;T1、T2分别为设定高低阈值由式(5)所示。
(5)
式中,mean[·]表示均值；
std[·]表示标准差；
k1,k2为经验参数,文中k1=0.5,k2=1.5。
3.1 直方图修正
在隧道低照度情况下,视觉信息对比不明显,但是由于灰度值呈现的不均匀现象而集中在某一块区间内,视觉特征区别不清晰,对比度不高。直方图均衡化技术可以对隧道出入口视觉信息进行二值化选取阈值,重新均匀各个灰度值,达到增强的效果。
由图2可知经直方图修正后,(b)对(a)来说隧道入口处更加清晰,(d)对(a)灰度值呈现均匀修正。
图1 隧道出入口视觉特征
图2 隧道入口处前后修正对比
3.2 高斯平滑处理及锐化
二维Gabor滤波器频率和方向十分接近人类视觉系统[19],二维Gabor滤波器可表示为式(6):
(6)
其中,θ为Gabor滤波器的方向;σu和σv分别为高斯包络在u轴和v轴上的标准差(u轴平行于θ;v轴垂直于θ);w用于调制频率。
由图3可知Gabor滤波器与视觉皮层相比十分接近,残差数值不大。因此,二维Gabor滤波器图像增强作用明显。
图3 Gabor滤波器空域函数
3.3 卷积稀疏表示
传统稀疏表示具有伪吉布斯效应,卷积稀疏表示(Convolutions Sparse Representation,CSR)的原理是将原图像建模为特征响应系数与滤波字典间的一组卷积和,从而取代冗余字典与稀疏系数乘积的表达方式。CSR模型表示为:
(7)
式(7)交替方向乘子算法(ADMM)中,{dm}表示M维卷积字典；
{xm}为特征响应；
*为卷积运算符号；
s表示源图像；
λ>0表示自定义参数。
利用新活性度量方法NAM对高频信息进行融合,如式(8)[20]所示:
(8)
4.1 实验系统
实验系统采用萤石互联网近红外监控摄像头,萤石无线互联网电池摄像机C3A,如图6(a),6(b)所示,拥有7.5 m红外夜视,防水麦克风和扬声器,最高分辨率1080 p,IC红外滤光片可自动切换白天/黑夜模式。电源电压DC12 V；
计算机的CPU采用Intel Core i7-7500U2.5 GHz,内存为8 GB,Matlab 2018a环境。针对低照度下隧道出入口行车会车时实际场景,本文进行了实验室模拟环境下的低照度下会车场景实验,低照度隧道出入口驾驶员行驶的模拟实际路况如图4(c),4(d)所示,一个发光面为199 mm×36 mm的LED条形光源(AFT-WL21244-22)模拟隧道光照条件,采用沙盘山区隧道模型,光源周围3辆汽车模型模拟低照度下隧道出入口行驶车辆。
图4 模拟低照度隧道入口场景
实验选用了大小为1920×1080预配准的2组隧道出入口红外与可见光图像进行实验,并挑选了具有对比性的(Curvelet、NSCT、NSCT-T算法、SR-C&L算法、SF-Energy-Q)5组融合算法进行性能比较。对于NSCT分解部分,尺度滤波器采用“pyrexc”,方向滤波器采用“vk”,分解级别设为4,级数为[2,3,3,4]。
4.2 隧道入口处融合评价
选用主观视觉与客观指标结合对融合结果进行评价。6个客观评价指标:互信息量(MI)、空间频率(SF)和平均梯度(AG)、边缘信息传递因子(QAB/F)、结构相似性(SSIM)和峰值信噪比(PSNR)。其中,指标数值越大,融合效果更好。
主观视觉层面看,图5这6种融合处理结果均有所体现。但是基于Curvelet变换和NSCT变换2种方法所得的融合图像对比度偏低,背景不突出,整体偏暗；
运用NSCT-T算法亮度适中,SR-C&L算法较为阴暗,SF-Energy-Q算法出现了“块状阴影”三种算法在车辆隧道外车辆颜色有所体现,但局部显示车辆颜色分辨率不高；
采用本文所提方法轮廓方面比较清晰,特征显著,总体视觉效果最好,与其余5种融合算法相比占据优势。关于低照度隧道入口处融合实验的客观评价指标如表1所示。
图5 低照度隧道入口处不同算法融合结果
对比分析表1可以发现,CSR-E算法MI略低于SR-C&L算法和Curvelet算法,AG略低于NSCT-T算法,其余SF、QAB/F、SSIM、PSNR这4项客观指标占比度较高,主观视觉上融合效果都能很好体现。为了验证算法的实时性加入时间评价,如图6所示。
图6 隧道出口处指标三维图
表1 隧道入口处性能指标评价
图6中(a)～(f)表现六种算法指标值及运行的时间,为展示更加清晰直观的实验结果,对应的客观指标及时间展示如图7所示。
由图7可知各指标在时间上算法占比差异,CSR-E算法MI指标运算时间仅需12 ms,比较图像融合结果,无论是从视觉效果还是客观指标评价,CSR-E算法占据优势。为确定六种算法在不同指标运行下的平均时间,如表2所示。
图7 隧道入口融合评价双Y轴柱状-点线图
表2 不同算法在隧道入口处运行的平均时间
由表2可知,六种算法所运行的平均时间相差不大,本文CSR-E算法运行时间为3.465×102ms低于NSCT、NSCT-T和SF-Energy-Q三种算法,虽然高于Curvelet和SR-C&L,但比较图像融合结果,CSR-E算法均占据优势。
4.3 隧道出口处融合评价
隧道出口处融合结果如图8所示。由图8可以看出,基于Curvelet变换和NSCT变换2种方法所得的融合图像对比度偏低,可见光背景下隧道内出口外车辆行驶画面不清晰,隧道中2辆车轮廓信息及色彩信息表现不明显,整体不突出、偏暗；
运用NSCT-T算法亮度适中,SR-C&L算法较为阴暗,SF-Energy-Q算法也出现了“块状阴影”,以上算法在车辆隧道外车辆颜色有所体现,但局部显示车辆颜色分辨率不高；
采用本文所提方法轮廓方面比较清晰,特征显著,总体视觉效果最好,与其余5种融合算法相比占据优势。本文算法融合结果辨识度高,行驶车辆颜色及轮廓信息更加清晰,整体的层次感对比更加强烈,车辆目标清晰,能够有效描述源图像的结构特征。出口处评价指标与隧道入口处一致,互信息量(MI)、空间频率(SF)和平均梯度(AG)、边缘信息传递因子(QAB/F)、结构相似性(SSIM)和峰值信噪比(PSNR)。
图8 低照度隧道出口处不同算法融合结果
对比分析表3可以发现,CSR-E算法SF略低,AG略低于SF-Energy-Q,其余4项客观指标占比度较高,MI、QAB/F、SSIM和PSNR分别为7.5145、0.5598、0.8879和19.2664。可以看出,本文算法的融合辨识度高,主观视觉层面看,这6种融合处理结果均有所体现。图9为了验证算法的实时性加入时间评价,除了以上六种指标,验证算法的实时性加入时间评价,如图9所示。图9中(a)～(f)表现六种算法指标值及运行的时间,为展示更加清晰直观的实验结果,对应的客观指标及时间展示见图10。图10各指标在时间上总体相差不大,总体而言,无论是从视觉效果还是客观指标评价,CSR-E算法都占据优势。CSR-E算法MI指标运算时间仅仅需要9.9 ms。为确定六种算法在不同指标运行下的平均时间,如表4所示。
表3 隧道出口处性能指标评价
图9 隧道出口处指标三维图
图10 隧道出口融合评价双Y轴柱状-点线图
由表4可知,六种算法所运行的平均时间相差不大,本文CSR-E算法运行时间为3.4440×102ms,与其他5种算法相比,运行时间最短,减少1.17ms同时在视觉效果显著,CSR-E算法占据优势。
表4 不同算法在隧道出口处运行的综合时间
(1)本文结合CSR和局部能量特征的特性,提出了一种CSR-E红外与可见光图像融合框架。文章首先对红外和可见光源图像进行图像增强及去噪处理,利用NSCT将预处理图像分解成一个低频子图和多个高频子图,其次,采用卷积稀疏表示与局部能量特征表示方法、活度测量方法进行融合处理,进行重构得到红外与可见光融合图像。实验表明,CSR-E算法克服了传统的“SR”和“伪Gibbs”效应,弥补了图像之间关联性差的缺点,保存能量信息与边缘细节信息。
(2)算法框架上,本文主要将NSCT分解所得的低频基础分量利用局部能量特征的方法进行融合,重点体现在红外亮度信息得到保留,使用CSR融合低频细节特征分量,并根据活性测度算法提取源图像的特性,对高频部分进行融合。
(3)本文算法结合了有关NSCT、CSR算法的优点,结合局部能量特征的融合规则,最终融合图像对比度高。实验使得最终的融合结果图不仅有着良好的视觉特性,结合MI、SF、AG、QAB/F、SSIM、PSNR六种评价指标进行评价。实验结果表明,在隧道入口处图像CSR-E算法对比Curvelet、NSCT、NSCT-T、SR-C&L、SF-Energy-Q5种算法,QAB/F指标提高了14.14 %,隧道出口处图像运行平均时间减少1.17ms,SSIM提高了3.38 %,总体运算成本相差不大,提升图像的鲁棒性和视觉清晰度以及算法运行时间是下一步研究的重点。
猜你喜欢子带照度滤波器一种基于奇偶判断WPT的多音干扰抑制方法*空间电子技术(2021年4期)2021-11-10子带编码在图像压缩编码中的应用电子制作(2019年22期)2020-01-14从滤波器理解卷积电子制作(2019年11期)2019-07-04恒照度智慧教室光环境光源与照明(2019年4期)2019-05-20开关电源EMI滤波器的应用方法探讨电子制作(2018年16期)2018-09-26体育建筑照明设计中垂直照度问题的研究照明工程学报(2017年3期)2017-07-10基于Canny振荡抑制准则的改进匹配滤波器系统工程与电子技术(2016年7期)2016-08-21基于虚拟孔径扩展的子带信息融合宽带DOA估计系统工程与电子技术(2016年2期)2016-04-16基于TMS320C6678的SAR方位向预滤波器的并行实现火控雷达技术(2016年2期)2016-02-06基于子带模式的AMC技术算法分析制造业自动化(2011年4期)2011-02-09 相关热词搜索：出入口，技术研究，隧道，
