基于多任务和反馈学习的阴影检测方法
时间：2023-03-09 23:40:01 来源：千叶帆 本文已影响人
尹 旷，王红斌，胡 帆，莫文雄，方 健，杨 鹏
(1.中国南方电网有限责任公司 中低压电气设备质量检验测试重点实验室，广东 广州 510410；
2.武汉大学 图像传播与印刷包装研究中心，湖北 武汉 430072)
阴影是日常生活中常见的现象，包含众多场景信息，如光源信息、空间位置信息等。阴影在物体识别和场景判读中具有重要作用，例如阴影可以用来推断导致阴影的物体的几何形状、获得物体的三维分析[1]或找到场景光源的方向[2]，在航空图像中还可用于识别建筑物[3]以获得场景的三维重建，或用于检测云及其阴影[4]。因此，阴影检测任务具有重要的研究意义。
阴影检测方法主要分为基于场景物理模型的传统阴影检测方法和基于深度学习的阴影检测方法。传统阴影检测方法通常是利用场景物理模型建模，对物理模型特定的属性进行分析，这些属性包括光照角度、亮度、光谱属性等，但是传统方法对阴影的特征描述能力有限，不能理解更深层和抽象的特性。
随着深度学习的兴起，卷积神经网络(CNN)被众多研究者证明了其强大的特征学习能力，Fang等人[5]提出了一个名为ECA(Efficient Context Discovery)的模块用于阴影检测，可以获得更有效的目标上下文特征。王思凡[6]提出了一种新型双流空洞卷积网络在一定程度上解决阴影漏检问题。但是，目前的模型存在小阴影区域漏检、无法区分深色区域和阴影区域、阴影和非阴影边缘分割不准确等问题，因此本文采取了多任务学习思想，引入注意力机制和反馈学习机制，提出多任务注意力特征反馈网络来解决目前阴影检测存在的问题。
1.1 多任务学习和注意力反馈在阴影检测问题上的分析
许多研究人员应用基于深度神经网络的方法来开展阴影检测任务，这类方法的原理是将阴影区域的信息通过堆叠卷积层进行深度编码并学习其深层特征，最后通过分类器将每个像素分类为阴影或非阴影。阴影检测问题可以解释为输入原始彩色图像，使用基于深度神经网络的生成模型生成二进制阴影图像的问题，许多具有特征结构的模型网络被提出，例如基于CNN的patched-CNN[7]和DSDNet[8]。此外，对抗性训练策略也被许多研究者采用，例如ST-CGAN[9]。这些模型训练单一的任务进行阴影检测区域的生成，如图1所示，容易存在漏检小阴影区域、无法区分深色区域和阴影区域、阴影和非阴影边缘分割不准确等问题。
(a) 输入图像
专注于单个任务的模型训练会导致模型忽略一些相关任务中可能提升目标任务的潜在信息，而通过多任务进行一定程度的参数共享会提升模型的泛化能力，从而得到更好的结果。本次研究引入多任务学习思想，对阴影检测进行阴影区域检测、阴影边缘检测和阴影计数检测的相互学习。
此外，注意力机制(Attention Mechanism)逐渐成为神经网络中的一个重要概念，本文也引入注意力机制来进一步提高模型的特征挖掘能力。空间注意力有利于突出阴影的外观特征，而通道注意力更适合用于高度编码的深层特征。
阴影检测任务属于原始彩色图像和二值阴影图之间的映射关系学习任务，渐进细化、层级迭代的反馈学习方式更有利于整合输入和高级语义信息，因此，在任务中引入反馈机制，逐级细化学习阴影区域特征，从而使得网络可以更好地学习阴影特征。
1.2 多任务注意力特征反馈网络结构
多任务注意力特征反馈网络是由多任务驱动学习的多模块网络，主要由编码和反馈解码两部分组成。图2为本文提出的多任务注意力特征反馈网络结构图，相关的部分网络结构注释已在图中标出。输入图像首先经过ResNeXt[10]卷积子模块获得5个不同尺度的特征块(L1、L2、L3、L4、L5)，将L1特征块与上采样后的L5特征块相加作为阴影的边缘特征EF，随后L2～L5特征块通过注意力机制进行特征融合，并由下至上依次经过上采样、反馈模块循环处理、与上层特征块嵌合，最后一个反馈模块的输出结果经过进一步的反卷积解码得到最终的模型输出，即二值化的阴影检测结果。
图2 多任务注意力特征反馈网络整体结构图Fig.2 Overall structure of multitask attention feature feedback network
1.2.1 注意力特征融合子模块
本文分别采用通道注意力和空间注意力对不同尺度的特征块进行特征激活。对于通道注意力，首先对于高级特征Fh∈W×H×C，将其拆解为其中是第i个通道对应的特征，C为总通道数。处理公式可以归纳为：
CA=F(vh,W)=σ1(fc2(δ(fc1(vh,W1)),W2))，
(1)
式中，W表示经过通道注意力激活后的特征块的中的参量值，σ1表示的是sigmoid激活操作，fc表示全连接层，δ表示ReLU激活运算。
空间注意力的处理可以归纳为：
(2)
(3)
(4)
式中，W为经过空间注意力激活后的特征块的中的参量值，σ2表示sigmoid激活操作，conv1和conv2分别表示卷积参数为1×k×C和k×1×1的两个卷积层。经过空间注意力和通道注意力加权后的特征块依次标记为L2′、 L3′、 L4′ 、L5′，经过特征学习反馈子模块处理后得到最终输出。
1.2.2 特征学习反馈子模块
为了提高阴影检测效果，本研究中引入阴影边缘特征对特征学习的约束，设计了特征反馈学习子模块，模块结构如图3所示。
本研究中，特征反馈子模块拥有两个输入Fin和EF，其中Fin为两个特征块拼接后的特征块；
EF为L1特征块与上采样后的L5特征块相加所得到的边缘特征。整个网络共有三个特征学习反馈子模块，图3中从下至上，第一个反馈子模块的Fin由上采样后的L5′和L4′拼接所得，第二个反馈子模块的Fin由第一个反馈子模块的Fout经上采样后和L3′拼接所得，第三个反馈子模块的Fin由第二个反馈子模块的Fout经上采样后和L2′拼接所得，三个反馈子模块的EF输入相同。
每个特征反馈子模块共进行了三次迭代反馈学习，每次迭代学习中均使用了三次空洞卷积(Dilated Convolution)进行阴影检测上下文信息的提取，空洞卷积具有更大的感受野，可以更好地捕捉全局信息和上下文信息，反馈子模块的具体参数设置如表1所示。
图3 特征反馈学习子模块Fig.3 Feature feedback learning module
表1 特征反馈学习子模块网络参数Tab.1 Feature feedback learning module network parameters
1.2.3 损失函数设计
在本次研究中，由于存在阴影区域、阴影边缘和阴影数量三种特征任务的学习过程，因此与之对应存在三种特征的损失函数进行模型训练的监督学习，最终将三者按照不同权重进行相加得到最终的总损失函数。将标记了阴影区域的掩膜图像作为阴影区域检测的真实值，记为Gregion；
由于掩膜图像为二值图像，因此可以通过Canny边缘检测算子对掩膜图像进行运算得到阴影区域的边缘，即得到了本次训练任务中的阴影区域边缘检测的真实值，记为Gedge；
进一步对掩膜图像进行连通区域标记即可得到阴影区域的数量，并且通过式(5)计算所得阴影区域数量对应的阴影数量特征值SC，以此作为阴影区域数量检测的真实值，记为Gcount。
(5)
(6)
(7)
(8)
(9)
不同任务的损失项相加权重不同，在本次研究中，权重依次设置为：α=5，β=1。
为验证本文所提算法的有效性，在SBU和ISTD数据集上与其他多种经典方法开展对比实验，对比实验运行环境为Intel(R) Core(TM) i9-10980XE CPU @ 3.00 GHz和Nvidia TITAN RTX 24G GPU。
2.1 实验结果
阴影检测任务在SBU数据集[11]和ISTD数据集[9]的测试集上计算模型结果的平衡错误率(Balanced Error Rate，BER)、阴影区域错误率(Shadow Error，SE)非阴影区域错误率(Non-Shadow Error，NSE)三个指标，数值越低代表模型的预测效果越好，各指标结果和目前阴影检测的其他经典方法对比结果如表2所示，其中黑色加粗的数值表示同列指标中的最优值。从表中的指标对比可以发现，对整幅图像的阴影去除做评价，本次研究中的模型取得了最优的结果，证明了本次研究的有效性。在阴影区域和非阴影区域的错误率指标上虽未全部取得最优，但对于ISTD数据集的非阴影区域错误率取得最优，对于未取得最优的指标，也与最优值差距较小。
表2 阴影检测模型指标统计结果Tab.2 Statistical results of shadow detection model indicators
2.2 对比分析
阴影检测任务的主观评价是通过本次研究模型和其他经典模型的阴影检测结果图之间的对比来直观展现的，结果对比如图4所示，其中第一列为从SBU数据集和ISTD数据集中选取的部分带阴影区域的场景图像。由图4可见，本文的阴影检测模型的检测结果与真实值图像(Ground Truth)最为接近，表现出了最优的阴影检测结果。本文阴影检测模型更好地区分了阴影区域和深色非阴影区域、准确地检测出了阴影，未多检测出其他阴影区域，模型对阴影的检测结果更让人满意。
图4 本文阴影检测模型与其他方法阴影检测结果对比Fig.4 Comparison of shadow detection results between the shadow detection model in this paper and other methods
本文针对目前阴影检测存在的漏检、误检等问题提出了基于多任务注意力特征反馈网络的阴影检测模型，该模型融合多任务特征学习和注意力反馈机制，通过对全局特征和局部细节的约束学习以及多次注意力特征迭代反馈学习来准确地检测单幅图像中存在的阴影区域，并与其他方法在两个经典数据集上进行对比分析，证实本文方法有效地解决了目前阴影检测存在的漏检小阴影区域、误检非阴影区域问题。
但本文算法使用的数据集中的阴影区域是人工标注所得，其准确性受到了一定的限制，这对模型训练产生了不利影响，此外，阴影图像的拍摄和无阴影图像的拍摄存在时间差，这就导致场景中的其他信息会存在一定的差异变化,影响了数据集的准确性。因此，获取更准确和高质量的数据集可以进一步提高方法的准确性和有效性。
猜你喜欢 多任务阴影注意力 让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09结合自监督学习的多任务文本语义匹配方法北京大学学报（自然科学版）(2022年1期)2022-02-21你来了，草就没有了阴影文苑(2020年11期)2020-11-19影中国诗歌(2019年6期)2019-11-15基于中心化自动加权多任务学习的早期轻度认知障碍诊断中国生物医学工程学报(2019年6期)2019-07-16“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13让光“驱走”阴影中学生数理化·八年级物理人教版(2017年11期)2017-04-18A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21基于判别性局部联合稀疏模型的多任务跟踪自动化学报(2016年3期)2016-08-23阴影魔怪数学大王·中高年级(2016年4期)2016-05-14 相关热词搜索：阴影，检测方法，反馈，
