仿真图像与遥感影像混合的训练方法研究
时间：2023-04-20 11:05:08 来源：千叶帆 本文已影响人
曹亚明，肖 奇，杨 震
(1. 中国科学院国家空间科学中心，北京 101401；
2. 中国科学院大学，北京 100049)
为了解决数据缺少对深度学习算法应用的限制，数据增强的方法被提了出来，使得神经网络数以百万计的参数得以正确的工作。数据增强手段对于原始数据量有一定的要求，并且在样本极缺的情况下，数据增强方法的效果有限，不同任务对于数据增强方法的扩充要求也不同，如人脸识别任务等，很难用数据增强方法实现模型准确率的提高。
与此同时，成像仿真技术越发成熟，虚拟图像，尤其是仿真图像应用于深度神经网络训练的应用变得越来越多。通过仿真成像生成的仿真数据结合真实数据训练深度神经网络，从而提升复杂环境下的深度学习识别、检测能力的方法已经在相关的领域初见端倪，比如2017年初苹果公司机器学习研究团队发布了首份人工智能研究报告[1]，该报告阐述了一种通过计算机仿真图像和真实数据来生成的对抗网络，实现了对视频特征信息的高性能识别与提取。由此可见，通过高置信度仿真数据结合人工智能技术对于提高目标识别、检测等性能具有很大应用空间和应用潜力。
仿真图像作为虚拟样本或者虚拟数据中的一种，近年来已经被广泛的应用于深度学习领域。深度学习的兴起，与大规模数据集的大量出现有着不可分割的关系。随着各个应用场景的大规模、高质量数据集的出现，深度学习在各个领域都取得了很好的表现。可是对于一些较难获得大量数据的任务中，深度学习的表现则受到了限制。深度学习对于数据的依赖程度极大，庞大的网络和众多的参数都需要大量的数据来进行训练，才能使网络取得较好的效果。深度神经网络在严重缺乏数据集的情况下，性能甚至低于一般机器学习算法，而多角度、具有丰富细节的仿真图用于训练有利于提高准确率。在这种背景下，虚拟样本，尤其是仿真图像作为训练样本加入到深度神经网络的训练过程就变得很有必要和意义。
虚拟图像的生成方式有很多种，具体采用的生成方式与应用场景关系很大。利用深度学习算法在RGB图像以及视频中实现目标跟踪已经达到很高水准，然而，由于缺少相应的标注及数据，利用卷积神经网络等深度学习算法在热红外波段的图像中实现目标跟踪很难。而有的研究者提出了通过图到图的生成算法[2]，该算法可以利用现有的带有标注的RGB数据，以成对或非成对的方式生成热红外波段的数据，然后利用生成的大量的热红外波段的数据对深度神经网络进行端到端的学习。实验结果表明，网络单独在虚拟的红外波段数据集上训练的效果要比在真实的热红外波段数据集上训练的效果更好，并且如果将真实的热红外波段数据与生成的虚拟热红外波段数据集结合为新的混合数据集，利用此混合数据集对网络进行训练可以取得更好的效果[3]。在解决自动驾驶任务的过程中，中国科学院自动化研究所也同样通过利用虚拟图像来弥补真实的道路数据集信息单一的缺陷，利用混合数据集对深度学习网络进行训练，达到了更好的效果。自动驾驶任务中最大、最常用的数据集为KITTI[4，5]，该数据集具有超过十万个标注的汽车目标，但是对于某些典型的目标，如公共汽车、卡车等，数量较少，造成数据集的长尾效应，即数据集类别不平衡。并且，该数据集在应用于自动驾驶任务中时，还存在标注耗费巨大、数据任务场景单一等缺点，所以自动化研究所通过利用建模软件生成了大量虚拟样本，试图借助虚拟样本增加自动驾驶的真实数据集的信息丰富度，从而提高深度学习算法在该任务中的性能。生成的数据集名称为平行眼(ParallelEye)[6]，包含三个子集，分别对应不同尺寸目标及目标在不同条件下遮挡的情况。利用该数据集进行多个实验，如在网络的训练阶段混合使用真实数据集和虚拟样本等。实验结果表明在虚拟数据集与真实数据集混合使用的情况下，可以有效的提高网络的性能，并且虚拟数据集可以充当一个从某些特定角度来测试网络性能的工具。由此可以看出，合理地利用虚拟图像作为训练样本可以对深度学习算法起到提高作用。
虚拟图像在深度学习中的大范围应用，主要得益于虚拟图像的获取方式简单灵活，并且在虚拟图像的获取过程中可以进行自动标记，免去手动标注，节省大量人力。为了提高深度学习算法在遥感影像目标检测任务上的准确率，结合遥感影像小目标检测任务的场景特点，考虑利用仿真图像作为训练样本，与真实的遥感影像数据相结合，对深度神经网络进行训练，使得网络能学习到更多的遥感影像小目标的特征。
本文提出了将目标的仿真图像加入到神经网络中的方法来提高网络对于遥感影像小目标检测的准确率。仿真图像是通过成像仿真技术生成的，而仿真成像技术是基于数学或物理方法来构建全链路成像模型，最终由模型生成图像的方法。
构建成像仿真系统的第一步是搭建成像仿真框架[7]。全链路的成像仿真框架从太阳直射、天空漫射开始，目标经过材质划分、并通过贴图的方式来体现不同材质的反射特性。反射后的光照强度再经过大气传输模型，即大气要素计算，最后进入相机成像模块。相机成像模块主要负责将成像前来到相机模块的光照强度根据一定计算规则转化为相应的电信号，然后经过信号处理模块，最终形成可见光仿真图像，整个成像仿真系统的闭环链路就此搭建完成，全链路成像仿真框架如图1所示。.
3.1 模型与数据集
仿真图像相比于其虚拟图像，具有明确的物理模型、物性参数，且生成的角度与方向多样。当前遥感影像小目标检测存在的视角特殊性、小目标、多方向和天气条件干扰等问题，都可以通过成像仿真技术得到多个角度的、高分辨率的、多个方向的以及不同天气、光照条件下的目标来进行改善。本文所生成的仿真图像用到的三维模型是通过3Ds Max三维绘制软件绘制得到的，保证了仿真图像角度、俯视方向的多样性。
利用成像仿真技术在可见光条件下生成遥感影像小目标的仿真图像作为一部分训练样本，与真实数据集组合为混合数据集，然后对网络进行训练以使得网络能够学习到小目标的更多特征。实验过程中所使用的用于混合数据训练以及遥感影像小目标检测的网络为YOLO V3模型。YOLO V3模型是在YOLO V2[8]和YOLO V1模型基础上进行修改提升的单阶段目标检测网络。
真实数据集部分采用VEDAI数据集进行实验。VEDAI(Vehicle Detection in Aerial Imagery)[9]是一个用来进行遥感影像中车辆检测的数据集。该数据集是通过将大视场中的卫星图像划分为1024×1024像素来形成数据集，并且所有图像都是从距地面相同距离拍摄的，如图2所示。数据集中还有一组512×512的图片，是通过1024像素图片下采样所获得的，以此形成一个检测更小目标的数据集。原始图像的地面采样距离(GSD，Ground Sampling Distance)为12.5cm/像素，下采样后图像的地面采样距离为25cm/像素。作为用于在不受限制的环境中对目标检测算法基准测试的数据集，该数据集除了包含各种尺寸非常小的车辆之外，还包含了其多样性，如多方向、光照变化、镜面反射或遮挡等。
VEDAI数据集包含9种不同的交通工具，分别是飞机、船、小汽车、卡车、拖拉机、露营车、厢式货车、皮卡和其类别。每个图像平均有5.5辆车，它们约占图像总像素0.7%。
图2 VEDAI数据集样例
3.2 实验介绍
与常规的图像相比较而言，遥感影像更容易受到云雾遮挡以及光照变化的影响。尤其是考虑到地球表面的66%经常被云雾所遮盖[10，11]，在云雾干扰下准确的检测遥感影像小目标成为必须面对和解决的难题[12，13]。因此，考虑在VEDAI数据集的基础上通过人为的增加云雾干扰构造新的数据集，VEDAI-Cloud，如图3所示，来进行实验。数据集中的云雾通过Photoshop中的云雾滤镜渲染形成，滤镜的透明度与云雾的厚薄相对应，滤镜的透明度在0%～70%范围内随机选取。最后在VEDAI数据集的所有图像中随机加入该滤镜，以此得到VEDAI-Cloud数据集，并使其中的效果尽可能的接近真实场景中被云雾遮挡之后的效果。
在生成仿真图像的过程中，考虑只对数据集中的部分类别进行仿真，分别是船(Boat)、轿车(Car)、皮卡(Pickup)、拖拉机(Tractor)、卡车(Truck)以及货车(Van)。生成的仿真图像为目标占据主体、不考虑背景的高分辨率仿真图像，每张图像的分辨率都为800×800以上。在仿真图像的生成过程中，考虑生成多个角度、多个方向的仿真图像，以此来弥补遥感影像所缺乏的小目标多角度、多方向的关键特征与信息。仿真图像的生成数量不要求能够捕捉小目标的所有角度与位置，重点放在小目标的几何特性方面。因此，生成的用来训练网络的仿真图像数量为18张，每个类别三张，作为仿真图像的基本数据集。在将仿真图像与真实数据集进行混合时，为了研究仿真图像与真实数据混合时的样本均衡性问题，对仿真图像设置了不同的对照组，分别在仿真图像的数量与分辨率上做出了不同的调整。将原始的18张仿真图像分别平均旋转4等分角度(90°，180°，270°)、10等分角度(36°，72°…)等，得到三组数量分别为72张、180张与500张的仿真数据集，所以在将仿真图像与真实数据集进行混合时，仿真数据集的图像数量分别为18，72，180和500。在仿真图像的分辨率方面对三个数量的数据集都进行了调整，考虑到真实数据集中遥感小目标的平均尺寸大概为20～30个像素，所以对不同数量的仿真图像都进行了下采样及分辨率调整，得到40×40 以及60×60两种分辨率的仿真图像，所以最后得到了四个数量、两种分辨率条件下的8个仿真图像数据集，如图4所示。
图3 VEDAI-Cloud数据集样例
图4 旋转及调整分辨率之后的遥感图像示例
在将仿真图像与真实遥感图像进行混合时，分别采用VEDAI(1000张真实遥感图像)与VEDAI-Cloud(1000张真实遥感图像)数据集作为真实遥感图像数据集，以比较仿真图像在无干扰情况下和有干扰情况下的效果。利用得到的两个混合数据集对YOLO V3模型训练收敛之后，得到的结果见表1、表2。
表1 YOLO V3模型在VEDAI混合数据集上的检测准确率
表2 YOLO V3模型在VEDAI-Cloud混合数据集上的检测准确率
表1中的结果是YOLO V3模型在VEDAI数据集与仿真图像组成的混合数据集上的检测结果。在将仿真图像作为部分训练样本时，为了研究仿真图像与真实遥感数据混合时的样本均衡问题，分别采用了多种数量与分辨率的仿真图像进行实验。在表1中Original表示在只用VEDAI数据集而没有仿真图像作为训练样本时的模型检测结果。从表1中的所有结果比较，可以得出，在加入仿真图像作为训练样本之后，模型在推理阶段的结果有显著提升，并且，不同数量以及分辨率的仿真图像对于模型准确率的提高程度存在差异。对加入仿真图像之后的结果分别从分辨率和数量的角度进行比较，如图5所示。从图中得出，总体而言，无论是哪种分辨率的条件下，混合数据集中仿真图像的数量变化对模型训练的效果都是先提升后降低。而在不同的分辨率条件下，仿真图像数量对模型效果影响所出现的拐点是不同的。分辨率较低的情况下，仿真图像中的小目标与真实小目标在几何形状、纹理等方面的分布更接近，较少数量的仿真图像即可对模型效果的提升起到很好的作用。仿真图像数量过多反而会使模型对真实数据的学习欠缺，导致模型在对真实遥感影像进行测试时准确率低。
当仿真图像的分辨率为60×60像素时，数量较少的仿真图像对于模型的提升效果有限，而当仿真图像的数量较多时，仿真图像中的小目标方向与角度更加丰富，对模型的提升效果会更好。但过多的仿真图像会影响模型对于真实样本的学习，所以仿真图像分辨率为60×60像素时也出现了拐点。在仿真图像与没有噪声的真实遥感数据进行混合时，仿真图像的数量与分辨率在对混合数据的均衡性产生影响时是互相耦合的关系，即互相影响，不存在单调性。仿真图像数量为180时，即仿真图像与真实数据集的混合比为0.18：1.0时，利用分辨率为60×60的仿真图像可以使网络取得最佳的训练效果。
图5 VEDAI混合数据集检测结果比较
表2中的实验结果为YOLO V3模型在VEDAI-Cloud数据集与仿真图像组成的混合数据集上的检测结果。从表1与表2的实验结果对中可以发现，在原始的遥感图像中加入云雾作为遮挡干扰之后，只用原始图像训练的模型的检测效果降低了将近15%，而选用适当数量和分辨率的仿真图像与真实图像组成的混合数据集共同训练模型，则可以大大的改善模型的检测效果。仿真图像作为训练样本对于模型在面对有干扰的情况下的数据集可以提供更多的小目标的特征与信息。如图6所示，无论是哪种分辨率的条件下，混合数据集中仿真图像的数量变化对模型训练的效果都是先提升后降低。并且，仿真图像的分辨率与真实样本中的小目标的分辨率越接近，模型可以取得更好的效果。可以从结果比较中得出，当仿真图像与真实遥感数据的比例为0.18：1.0时，40×40分辨率的仿真图像可以使得网络对于有干扰的遥感数据取得最好的检测效果。
从仿真图像作为训练样本加入到真实数据集的实验结果整体来看，无论真实的数据集是否有干扰，两种分辨率的仿真图像作为部分训练样本加入之后，仿真图像数量不断增加，模型的效果会随着仿真图像数量的变化先提升后降低。仿真图像的分辨率以及数量是影响仿真图像对于模型效果提升作用的关键变量。从两个数据集的整体结果来看，当数据集本身没有干扰时，仿真图像的分辨率和数量互相耦合，对混合数据集的均衡性造成影响，如果采用的仿真图像分辨率较大，则数量也应适当增加；
当数据集本身存在干扰时，分辨率较小的仿真图像与真实目标更接近，作为样本可以发挥更大的作用。
对上述实验结果进行定量总结，当仿真图像与真实数据的混合比为0.18：1.0时，无论真实的遥感数据是否有干扰都可以取得最好的效果。其中，对于无干扰的数据集，分辨率为60×60的仿真图像效果最好；
而对于有云雾遮挡的遥感数据集，40×40分辨率的仿真图像效果最好。
图6 VEDAI-Cloud混合数据集检测结果比较
本章通过利用仿真图像作为训练样本的方法，将仿真图像与真实的遥感影像数据混合进行深度学习模型的训练，从仿真图像的数量和分辨率角度出发，对仿真图像与真实遥感数据结合之后的混合数据集的样本均衡性进行研究，最后分别利用有干扰和无干扰的真实遥感数据对网络进行测试。实验结果表明无论是哪种分辨率的条件下，混合数据集中仿真图像的数量变化对模型训练的效果都是先提升后降低。并且，仿真图像的分辨率与真实样本中的小目标的分辨率越接近，模型可以取得更好的效果。选用适应小目标分辨率、适当数量的仿真图像与真实的数据集组成混合数据集，然后对神经网络进行训练可以有效地提高神经网络对遥感影像小目标检测的准确率，改善网络在有环境干扰条件下的表现。
猜你喜欢分辨率数量混合混合宅现代装饰(2022年5期)2022-10-13一起来学习“混合运算”数学小灵通(1-2年级)(2020年4期)2020-06-24EM算法的参数分辨率数学物理学报(2019年3期)2019-07-23统一数量再比较小学生学习指导(低年级)(2019年3期)2019-04-22原生VS最大那些混淆视听的“分辨率”概念家庭影院技术(2018年9期)2018-11-02基于深度特征学习的图像超分辨率重建自动化学报(2017年5期)2017-05-14一种改进的基于边缘加强超分辨率算法成都信息工程大学学报(2017年6期)2017-03-16头发的数量小猕猴智力画刊(2016年6期)2016-05-14我国博物馆数量达4510家现代企业(2015年5期)2015-02-28混合所有制中国卫生(2014年12期)2014-11-12 相关热词搜索：遥感，仿真，混合，
