一种稳健的视频SAR动目标阴影检测与跟踪处理方法

何志华 陈 兴* 于春锐 栗子涵 余安喜 董 臻

①(国防科技大学电子科学学院 长沙 410073)②(北京跟踪与通信技术研究所 北京 100094)

视频合成孔径雷达(Video Synthetic Aperture Radar, VideoSAR)技术是现有SAR系统在工作模式上的一种扩展，该技术有机综合了高分辨成像和视频成像的优点，可利用视频SAR时序影像中动目标形成阴影与静止背景的几何与辐射特征差异获取运动目标高精度位置、速度等运动状态信息，具有定位精度高、检测概率高、最小可检测速度低等优势，能够实现全天时、全天候的动态目标观测，是雷达地面动目标指示(Ground Moving Target Indicator, GMTI)的一种新手段[1–3]。

加拿大国防研究与发展中心(Defense Research and Development Canada, DRDC)基于X波段宽带试验机载雷达系统(X-band Wideband Experimental Airborne Radar , XWEAR)，进行了视频SAR试验，能够通过对区域的持续观测改善目标检测和静态特征的提取能力[4]。美国桑迪亚国家实验室(Sandia National Laboratories, SNL)开发了Ku波段重叠孔径视频SAR成像算法，展示了视频SAR对地面运动目标视频成像能力[5]。美国国防高级研究计划局(Defense Advanced Research Projects Agency,DARPA)发布了THz频段视频SAR项目，系统实验结果表明相比微波波段可实现较高的独立视频帧率[6]。芬兰冰眼公司(ICEYE)首次验证了天基视频SAR动态目标监视能力[7]。国内各相关单位也相继开展了视频SAR系统与信号处理方面的研究并取得了很好的进展。

视频SAR动目标阴影检测与跟踪处理是视频SAR应用的关键技术之一，由于缺乏广泛的有效数据源，该研究还处于起步阶段，基本的思路是在借鉴已有的光学视频目标检测与跟踪成果基础上，充分考虑视频SAR序列图像及动目标特点，研究针对性的处理方法。文献[8]研究了基于阴影特征的运动目标检测方法，给出了基于图像序列的检测流程、性能预估结果及实测数据处理结果。文献[9]研究了道路上运动目标由于偏离真实位置而留下“阴影区”的检测问题，揭示了阴影区检测性能与道路电磁散射特性、杂波环境、噪声强度等的关系，分析了运动目标的特征参数(速度和位置)与道路之间的对应关系，结合阴影检测和道路辅助信息实现运动目标的检测和参数估计。文献[10]研究了基于图像序列的视频SAR动目标检测方法，利用单高斯模型对图像序列进行背景建模，将背景与当前图像差分后并二值化得到前景的二值图，对二值图进行形态学处理提取出目标阴影。文献[11]研究了一种VideoSAR动目标阴影检测方法，包括视频SAR图像配准、图像降噪、最大化阈值分割、结合背景差分和三帧间差分法的动目标提取等处理环节。文献[12,13]将快速区域卷积神经网络等深度学习技术应用于视频SAR动目标检测中，取得了较好的虚警抑制效果，但这类算法对训练数据有较高的要求，算法泛化能力有待进一步提高。文献[14]针对阴影易受环境杂波干扰的问题，充分利用空时信息和显著性检测机制抑制背景杂波，并使用交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)的优化方法实现了动目标阴影检测与跟踪。

本文针对视频SAR动目标阴影变化剧烈、信杂噪比低、多普勒模糊干扰等特有的图像特征，充分利用视频SAR帧图像空间域和时间域信息，经过数据配准和相干斑滤波预处理、采用基于改进差分的动目标阴影检测处理和多目标跟踪处理技术，在保证检测率的前提下尽量降低虚警率，实现了视频SAR动目标检测与跟踪。

视频SAR是现有SAR系统在工作模式上的一种扩展，一般工作在星载/机载聚束模式或机载圆周模式下。其通过调整波束指向持续照射场景，采用子孔径成像处理形成同一场景序列图像，每秒钟形成的帧图像数量即为视频帧率(frames per second,fps)，在微波频段典型系统参数下，需要重叠孔径才能形成方位分辨率优于0.5 m、帧率优于5 Hz的典型连续视频影像[3]。

动目标在视频SAR帧图像中表现出明显的阴影特征，图1(a)为美国SNL公开发布的Kirtland空军基地视频SAR某帧图像，当车辆停止时，距离向可以观察到明显的投影阴影；
当车辆运动时，目标在方位向散焦且偏离其真实位置，但由于车辆所在位置未受到电磁波照射而形成目标阴影，投影阴影和目标阴影一起形成动目标阴影，如图1(b)所示，运动车辆形成的动目标阴影位置与运动车辆一致，相比GMTI等SAR动目标检测方法，基于动目标阴影的动目标检测方法具有定位精度高、最小可检测速度低等优点。但由于形成视频SAR帧图像需要一定的合成空间时间，如图1(c)所示，帧率为fr，子孔径合成孔径时间为1/fr，在此期间动目标阴影边缘区域也会受到天线波束照射，一定程度上也会在阴影区域引入杂波。

图1 动目标阴影特征及形成机理分析

因此可通过动目标阴影特征实现动目标状态感知，利用视频SAR帧图像阴影区域与背景区域的差异实现动目标检测，为了更好地进行动目标阴影检测与跟踪处理，首先需要进行视频SAR数据预处理，包括图像序列配准和图像序列去噪。图像序列配准是实现变化检测的前提，通过配准处理，可以消除SAR平台与场景相对运动引入的角度变化，帧图像之间的平移、旋转和缩放等几何畸变，可采用基于帧间迭代的加速鲁棒特征(Sped-Up Robust Features, SURF)配准算法得到同一坐标系下的图像序列，具体可参见文献[15]。

图像序列去噪可抑制SAR图像相干斑和抑制热噪声，本文采用改进的视频3维块匹配(Video Block Matching 3 Dimension, V-BM3D)滤波算法实现视频SAR动目标阴影特征增强。V-BM3D算法是在图像去噪算法3维块匹配(Block Matching 3 Dimension, BM3D)的基础上针对视频处理的改进算法[16]，其中的两个主要技术分别是块匹配搜索和协同滤波。块匹配搜索是指给定参考图像块，在当前帧的前后几帧搜索与参考块最相似的若干图像块，将它们堆叠成一个3维矩阵；
协同滤波是指对3维矩阵中每个2维矩阵执行2维变换，再在第3个维度上执行1维变换，对系数进行硬阈值收缩实现去噪。V-BM3D算法最初是针对光学视频去噪设计的，用于滤除加性噪声，因此在视频SAR去噪应用中，首先需要进行图像对数变换，将乘性相干斑转化为加性噪声。

将V-BM3D算法直接应用到视频SAR数据预处理中面临两个难题：第一，动目标阴影图像特征与背景图像特征差异较光学视频要小得多，给“目标”与“噪声”的区分带来难题；
第二，视频SAR帧图像所用合成孔径时间较短，背景图像信噪比较低，是一个典型的强噪声环境，V-BM3D算法去噪性能也急剧降低。本文充分挖掘视频SAR时序信息，通过时序平均处理提升帧图像信噪比，同时动目标阴影在相邻帧之间变化较小，通过平均处理也可以进一步抑制噪声。改进的V-BM3D算法的处理流程为：输入配准处理后视频SAR图像序列，每帧图像与它前面k帧图像序列平均，通过改善帧图像信噪比提升V-BM3D算法块匹配过程的准确度，从而提高相干斑抑制性能。

图2给出了SNL视频SAR某帧图像去噪及检测结果，由图2(a)和图2(d)可以发现如果不进行去噪处理，视频SAR图像序列的检测性能较差，很难检测到移动目标，出现3个漏警(未检测出的真实目标)，6个虚警(检测出的虚假目标，红框所示)；
V-BM3D的去噪及检测结果分别显示在图2(b)和图2(e)中，由于视频SAR图像序列的噪声水平较高，因此对运动目标的检测性能仍然不佳，出现3个漏警和1个虚警；
改进V-BM3D算法的去噪及检测结果分别显示在图2(c)和图2(f)中，可以看到所有运动目标都被成功检测出，没有产生任何漏警或虚警，检测性能相比之前有较大改善。

图2 SNL视频SAR去噪及检测结果

经过配准和去噪等预处理后，得到目标运动清晰、背景平滑配准的帧图像序列，检测处理的目的是将动目标阴影和背景准确分离，本文采用改进差分的动目标阴影检测处理方法，融合经典的背景差分和对称差分结果，利用形态学滤波和虚警抑制等手段实现视频SAR帧图像序列中动目标阴影的准确提取，处理过程如图3所示。

3.1 背景差分法

背景差分法是视频动目标检测的传统方法，它通过对当前帧与背景模板之间的差值做阈值化处理提取运动区域。该方法较为简单，在背景静止、噪声平滑、目标清晰且尺寸较大时，动目标提取效果较好。背景差分法的具体实现步骤如下：

提取当前帧Ik之 前的M帧图像，用中值法进行快速背景建模，得到背景模板Iback

其中， m edmodeling(·)表示中值滤波处理，将当前帧Ik与背景模板Iback相减得到运动目标图像Isub

对差分结果Isub进行最大化阈值分割，将不同灰度级的目标和背景区分开，得到二值化图像Iseg

其中， T hreseg(·)表示最大化阈值分割处理，对二值图Iseg做中值滤波，滤除尺寸较小的虚警，得到背景差分法的结果Ibgd。观察图3(b)可得，图像中运动的区域被提取出来，定义为感兴趣区域(Region Of Interest, ROI)用绿色虚线框标记。其中中间2个白色矩形表示2辆车的阴影，周围的白色多边形表示虚警。由于背景建模使用当前帧之前的数帧实现，因此和当前帧相比阴影位置滞后，故背景差分结果得到的检测框也会出现滞后现象，该现象不影响对目标运动状态的估计，但在帧图像标注时需要补偿由目标运动引入的检测框位置移动。

3.2 对称差分法

对称差分是指当前帧与其前后两帧分别进行帧间差分，对得到的差分结果求交集，得到动目标轮廓信息。相邻两帧差分法会造成检测到的动目标比实际多，且只是对比并提取两帧间的差别，忽略了自身重叠部分的信息，可采用相邻3帧图像Ik−1,Ik和Ik+1做对称差分，具体实现步骤如下：当前帧Ik分别与其前后帧Ik−1和Ik+1做差分，获取差分结果Ix和Iy

分别对Ix和Iy进行中值滤波，滤除尺寸较小的虚警。计算Ix和Iy的交集，获取对称差分结果Iifd

在图3(c)中，可以看到每个运动区域都被2个检测框包围，这是由前后2帧的帧间差分实现的。由于帧间差分提取出的区域通常会比实际的多，所以式(5)取交集操作可以去除部分虚警。

图3 基于改进差分的动目标阴影检测处理示意图

3.3 差分结果融合处理

背景差分法能够提取出场景中的运动目标，但其对静止目标微动、观测视角变化和背景噪声闪烁等影响较为敏感，此时背景差分法会检测出大量虚警。对称差分法对慢速目标不敏感，对环境噪声也比较敏感，容易出现检测空洞、目标漏检等问题。将两种算法的检测结果进行融合，求取背景差分法提取结果Ibgd和 对称差分法提取结果Iifd的并集，即

其中，符号∪表示逻辑或操作，由于两种差分方法得到的结果会在大部分区域重合，但又存在一些差别，本步骤的差分结果融合处理可以在一定程度上增大真实目标ROI的检测面积，进而增大与虚警的差别，如图3(d)所示。

3.4 虚警抑制方法

基于差分融合处理的改进差分方法具有较高的检测率，但也存在较高的虚警率，利用帧图像空间域信息可以进一步抑制虚警。

一方面，利用动目标阴影区域尺寸特征，采用形态学滤波处理抑制较小ROI区域虚警。形态学滤波采用预设的结构元对图像进行开(先腐蚀后膨胀)、闭(先膨胀后腐蚀)运算，这一操作可以去除面积较小的虚警，使动目标ROI更加清晰，同时降低检测虚警，如图3(e)所示。

另一方面，利用动目标阴影幅度特征，进一步以抑制移动目标亮斑产生的虚警。亮斑是目标的散射信息，当强散射目标静止时，亮斑静止出现在目标的真实位置并掩盖阴影；
而当目标开始运动时，由于多普勒频移的影响，亮斑会偏离目标真实位置发生移动。由于亮斑在灰度较低的背景上运动可以等效为背景自身的运动，视频SAR动目标提取过程无法区分移动亮斑和移动阴影，不断运动的亮斑会产生大量虚警，严重降低检测性能。因此，借助ROI平均灰度进行虚警抑制，对于一个ROI，计算其内部所有像元的平均灰度m ean(ROI)， 接着用mean(ROI)和设定的灰度阈值Tgray进 行比较，Tgray的设定与视频SAR的信杂噪比等因素相关。只有满足平均灰度条件的ROI被保留下来，不满足的ROI将被作为虚警并去除。如图3(f)所示。

基于动目标阴影检测结果，利用视频SAR时序信息，通过多目标跟踪处理可以进一步抑制虚警。同光学视频不同，视频SAR分辨率相对较低，一般采用点状序列信息实现跟踪处理。本文采用卡尔曼滤波和改进的交互式多模型(Interacting Multiple Model, IMM)算法，具体包括多目标数据关联、跟踪滤波和航迹管理等处理步骤。

4.1 多目标数据关联

准确建立新一帧SAR图像的各目标检测点与多目标航迹之间的配对关系，是视频SAR多目标跟踪滤波的前提。数据关联算法的目标是在考虑各种约束条件的前提下利用最有效的方法，使错误关联减至最小。常用的数据关联算法有最近邻法、极大似然类多目标数据关联方法、贝叶斯类多目标数据关联方法等。本文采用一种全局最近邻的多目标数据关联算法，通过选取所有配对的距离度量，然后计算各种多目标全局组合配对下的距离和，并按距离和最小的原则确定多目标关联的组合配对，具体步骤如下：

(3) 选取距阵R中的最小值Rijmin，若小于某一基准门限，则第k+1次目标检测的第j个目标位置与航迹库中第i条航迹相关，同时令矩阵的第i行和第j列元素等于基准门限值；

(4) 重复第(3)步，直到矩阵所有元素达到基准门限值；

(5) 若某目标检测点与某航迹相关，则启动航迹更新；
若某航迹没有关联上新一帧图像的检测结果，则记目标航迹失跟一次，并启动航迹终结策略；
若有新的目标检测结果没有关联上航迹，则启动航迹起始模块，具体参见4.3节。

4.2 动目标自适应跟踪滤波

基于卡尔曼滤波器的交互式多模型(Interacting Multiple Model, IMM)算法可进一步提高视频SAR动目标阴影状态机动自适应能力。处理步骤分为：特征值计算，根据提取后的结果，计算出运动目标的特征值、质心和跟踪窗口；
建立运动模型，利用卡尔曼滤波器建立系统的运动模型，定义状态向量，预测下一帧中运动目标可能出现的位置；
特征匹配，定义目标的相似函数，利用相对帧间目标的变化，利用特征值计算相似函数值，判断是否为同一跟踪目标；
模型更新，更新运动模型，作为下一运动模型的卡尔曼滤波的输入。

IMM算法是一种次优的混合状态估计滤波器，其主要特点是能够对具有数个“行为模式”的动态系统的状态加以估计，自适应调整滤波器带宽，主要用于跟踪机动目标。该技术在性能与复杂性上取得较好的平衡，其计算复杂性与模式(或模型)数量呈线性关系，其性能与平方算法的滤波器相当。与其他多模技术相比，IMM具有一个重要的特征，即多个模式的目标状态和方差的估计根据一个马尔可夫链合并起来，马尔可夫模型用以产生各种目标状态模式间的转移特性[17,18]。IMM算法的实现流程主要包括交互/混合、卡尔曼滤波、似然比计算和模式概率更新以及状态模式合并等，如图4所示。

图4 IMM算法处理流程图

4.3 目标航迹管理方法

航迹管理是视频SAR动目标跟踪的重要组成部分，对动目标航迹的起始、确认、维持和删除全过程进行准确判决，可以及时地起始航迹以建立新运动目标的运动信息档案，也可以准确地删除航迹以消除没有跟踪价值目标的档案，一方面充分发掘现有量测中的信息，另一方面又可以降低干扰因素的影响，提高航迹质量。采用的航迹管理方法如图5所示。

图5 航迹管理方法

建立航迹数据结构为

其中，x表示目标运动状态，fil表示目标跟踪的相关参数，tage表示该航迹从初始化开始后经过的总帧数，tvis表示该航迹与量测点迹成功关联的帧数(航迹可能会短暂丢帧，但不会立刻删除)，tinv表示该航迹没有关联上量测点迹的总帧数。

采用4.1节多目标数据关联方法，若量测值与航迹关联成功关联，则可以利用新的量测点迹信息对目标位置速度进行更新，获得更准确的目标运动状态，同时将tage+ 1,tvis+ 1,tinv置0；
否则，用该量测点迹初始化一条新航迹，同时对没有关联上新量测的航迹进行tage+1，tvis不 变，tinv+1。若某条航迹长时间没有关联到新的量测点迹，或航迹维持时间太短，可认为该目标已经停止运动或是由杂波引入的虚假目标，需要从航迹列表中删除，稳健的航迹终结有助于合理维护有效航迹数量，并减小数据处理的计算量和存储量。考虑到动目标暂停运动时可能检测不到显著阴影，为区别于固定地面目标的阴影检测虚警，需要设计一个合理的目标暂停判决策略，短时间持续低速的目标航迹可标识为暂停目标航迹，其状态无需经过跟踪滤波器，从而提高数据处理效率；
长时间状态维持的暂停目标航迹可进行航迹终止操作。将4.2节动目标自适应跟踪滤波处理嵌入到航迹管理的模块内，在航迹起始、维持等步骤完成跟踪预测和状态更新，即可实现稳健的视频SAR多目标跟踪处理。

综上所述，本文采用的视频SAR动目标阴影检测与跟踪处理流程图如图6所示：首先通过配准和滤波处理得到高匹配度、高质量的视频SAR序列帧图像，然后综合采用背景差分法和对称差分法得到每帧图像低漏警、高虚警检测结果，接着充分利用视频SAR空间域信息和时序信息，通过基于灰度差异和边缘信息辅助的空间域虚警抑制方法，采用稳健的视频SAR多目标跟踪方法，将跟踪结果标注在原图像序列上，最终可得到动目标阴影检测跟踪结果。

图6 视频SAR动目标阴影检测与跟踪处理流程图

采用SNL公开发布的Kirtland空军基地视频SAR实测数据验证本文方法有效性。该视频总长900帧，帧图像为1280像素×720像素，帧率为29.97 Hz，总时长约30 s，道路上有许多来往的车辆，涵盖车辆停止、快速运动、慢速运动等运动状态。

为了定量评估运动车辆阴影检测跟踪性能，首先对900帧视频进行逐帧人工标注，一共标注了50辆大小不一的运动车辆目标，其中在不同时间出现的相同车辆按照不同目标计数，左侧道路共计33辆，右侧道路共计17辆，形成有效阴影的运动车辆统计结果如图7所示，图7(a)表示每帧图像中的运动车辆数量，图7(b)表示运动车辆出现/离开在帧图像的状态。第24帧、第336帧和第385帧运动车辆标注结果如图8所示。

图7 SNL视频SAR运动车辆统计结果

综合考虑帧图像间隔和目标尺寸大小，经过实验优选的数据处理相关参数设置如下：背景建模使用当前帧前后的3帧进行，形态学处理中开运算采用 2×2 的 圆形结构元，闭运算采用5 ×5的圆形结构元，视频片段中有一辆较大的卡车，其余车辆为小型轿车，考虑到不同车辆在成像场景中所占的尺寸，ROI面积限制在[80, 550](横向，纵向)个像元。

SNL视频SAR第336帧动目标阴影检测结果如图9所示，从各个步骤的结果来看，运动车辆目标在高帧率的SAR视频中表现为灰度较小的阴影，其真实能量由于多普勒频移而发生偏移，当车速较高时，多普勒频移也较大，亮斑拖尾形成亮线，当车辆停下时，亮斑回到其真实位置并掩盖阴影。且随着观测平台视角的变化，亮斑的移动方向也发生变化(沿方位向运动)。图9(a)为经过图像序列配准、去噪等预处理后的帧图像，原始图像序列随时间发生旋转，特征差别较大，且受噪声影响较为严重，经过视频SAR预处理后，得到了背景一致对齐，目标阴影清晰的结果；
图9(b)为背景差分和对称差分融合后的检测结果，运动目标均被提取出来，在二值图中表现为较大的白块，背景信息基本被消除，剩余由噪声及静止目标阴影偏转带来的虚警所占面积较小，可通过3.4节虚警抑制方法进行处理，结果如图9(c)所示；
图9(d)给出最终检测结果，最终视频中左侧道路5辆、右侧道路1辆共计6辆运动车辆阴影均被正确检测出来，与标注结果图8(b)一致。部分帧图像不可避免地产生虚警目标，但一般持续帧数有限，不能形成有效航迹，通过视频SAR多目标跟踪处理，可以得到更加稳健的运动目标阴影检测跟踪结果。

图8 SNL视频SAR运动车辆标注结果

图9 SNL视频SAR第336帧动目标阴影检测结果

为了验证虚警抑制处理方法的有效性，选取实测数据的第266帧，观察图10(a)可以得到，若不进行虚警抑制处理，则左下角会产生5个由散焦亮斑移动引入的虚警，在图像序列中，散焦亮斑移动可以等效为背景暗区移动，因此在散焦亮斑经过的区域会产生较多虚警，但亮斑和阴影的ROI在灰度上存在较大差异，通过设置合适的灰度阈值进行判别，可以剔除大部分虚警，结果如图10(b)所示，移动亮斑产生的绝大部分虚警被剔除，而移动阴影产生的真实目标被保留。

图10 视频SAR预警抑制处理对比

在空间域虚警抑制处理基础上，进一步采用视频SAR多目标跟踪，利用序列时间域信息可以进一步抑制虚警，提高运目标阴影跟踪成功率。图11为SNL视频SAR第24帧和第385帧运动目标跟踪结果，其中，线条表示动目标跟踪形成的航迹，可见第24帧中的7个动目标和第385帧中的8个动目标均被正确地检测和跟踪。

图11 SNL视频SAR运动目标跟踪结果

对SNL视频SAR整个数据进行跟踪性能评估，定义动目标跟踪成功率为视频帧可成功形成跟踪航迹的目标数/视频帧实际动目标数，设A代表跟踪结果区域，B代表运动目标标注区域，如果(A∩B)/(A∪B)>0.5则衡量为跟踪成功，SNL视频SAR逐帧跟踪成功率如图12所示，其平均跟踪成功率为85%，实现了较好的检测跟踪处理结果。

图12 SNL视频SAR跟踪成功率统计结果

本文研究了一种稳健的视频SAR动目标阴影检测与跟踪处理方法，针对视频SAR帧图像阴影特性不稳定的特点，采用改进的差分处理方法实现动目标快速检测处理，进一步针对虚警较高的问题，综合采用空间域虚警抑制方法和时间域多目标跟踪方法实现动目标检测跟踪处理，SNL视频SAR实测数据处理评估结果表明运动车辆目标跟踪成功率可达到85%，验证了本文所提方法的有效性。

猜你喜欢 虚警航迹差分 RLW-KdV方程的紧致有限差分格式数学杂志(2022年5期)2022-12-02符合差分隐私的流数据统计直方图发布湘潭大学自然科学学报(2022年2期)2022-07-28大数据分析的船舶航迹拟合研究舰船科学技术(2022年11期)2022-07-15数列与差分新世纪智能(数学备考)(2021年5期)2021-07-28一种复杂环境下的多假设分支跟踪方法雷达科学与技术(2020年4期)2020-09-11综合航空电子系统机内自检测技术研究装备维修技术(2020年19期)2020-03-08一种电阻式应变传感器的数据处理方法物联网技术(2019年9期)2019-11-06自适应引导长度的无人机航迹跟踪方法北京航空航天大学学报(2017年7期)2017-11-24空管自动化系统二次代码劫机虚警分析科学与财富(2017年24期)2017-09-06民用飞机货舱烟雾虚警浅析科技视界(2017年10期)2017-08-21 相关热词搜索：稳健，跟踪，阴影，