引入空间距离信息的城郊山区道路提取与应用*

陈若男，彭玲，刘玉菲，卫志超，吕蓓茹，陈德跃

(1 中国科学院空天信息创新研究院， 北京 100094；
2 中国科学院大学， 北京 100049；
3 北京工业大学信息学部， 北京 100124)

近些年来，随着中国新型城镇化建设蓬勃发展，城镇化趋势迅速向城郊区扩张，大片林地、山地被开发，成为农业、旅游、休闲圣地；
与此同时，人民生活水平不断提高，对于郊野生活的向往也日益增长，城郊森林景区成为大众休闲放松消遣新兴高地。城郊景区往往依山而建，枝叶茂密，道路蜿蜒，在被赋予大自然迤逦景色的同时，也成为森林火灾风险集散地。为保证游客和景区内外原住民人身安全，开发智慧景区和做好林火安全防范成为新时期刚需。山间道路信息完备是应急决策、林火救援核心要素之一。城郊山区道路信息往往比城区情况复杂，具有坡高、路陡、人烟稀少等特点，测绘成本和制作难度高、商业价值较低，鲜有城郊山区具有高精度电子路网信息。

遥感影像有高空间分辨率、高时间分辨率明显优势[1]，近年来许多学者对遥感影像道路信息提取进行了研究，包含传统方法、机器学习、深度学习等。在传统方法上，Hu等[2]基于形状特征检测出道路交叉口，利用寻趾算法寻找优势方向来跟踪路段；
左娟和李勇军[3]提出利用数学形态学对道路目标进行提取；
Singh和Gary[4]在形态学操作基础上结合自适应全局阈值设定；
劳小敏等[5]及李书晓和常红星[6]提出结合邻域总变分分割方法和基于边缘检测、变分几何准则的形态学分析遥感影像道路提取方法。在机器学习方法上，曹婷和王欢[7]提出基于改进的空间线模型，利用基础分类器得到置信度图提取二值 SPRAY 特征，引入帧间信息复用机制提高道路宽度检测精度；
朱恩泽等[8]运用支持向量机将不同类别像素分为道路类和非道路类，同时采用形态学进行后处理得到精确道路网信息。在深度学习方法上，Mnih[9]设计了一种有效的深度神经网络从航空影像中自动提取道路，是最早尝试之一；
Zhang等[10]提出一种用于道路提取的深度残差U-Net，并在Massachusetts道路数据集上展示其优越性能；
Zhou等[11]提出使用膨胀卷积来扩大感受野以获取更丰富的空间信息；
Xu等[12]通过引入局部和全局的 attention 单元，并基于DenseNet网络构建新的道路提取方法，能有效地从具有局部和全局信息的遥感图像中提取道路网络；
Kestur等[13]提出UFCN模型以实现无人机低空遥感图像道路提取，该模型由一组卷积堆栈和相应的镜像反卷积堆叠组成，在这些卷积层与反卷积层之间使用跳跃连接来保存特征局部信息。

现有研究表明，与传统方法相比，深度学习技术在遥感影像地物提取上具有明显优势。虽然许多学者对道路信息进行了大量研究，但研究对象多是针对城区规整道路；
而城郊山区道路往往具有背景复杂、道路遮挡多、路宽窄等特点，因此城区道路提取模型在城郊山区适用性较差，不可直接迁移；
且目前多数研究停留在城区道路像级提取阶段，缺少进一步后处理研究。

本文针对城郊山区高遮挡场景，构建道路深度学习语义分割模型，在此基础上提出一种增强道路提取结果在连续性方面表达能力的模型训练方法，并在本课题研制城郊山区Yajishan道路数据集和Massachusetts公开道路数据集上进行了效果评估；
此外，还验证了该训练方法在其他常用语义分割模型上同样有效。最后，基于模型提取结果进行后处理，形成一套后处理流程，将提取成果转化为包含道路宽度信息的道路中心线和道路面两种可视化、可分析矢量数据格式。

本文研究主要包括两部分，整体流程如图1所示。第一部分基于遥感影像提出适用于城郊山区的道路面提取方法，第二部分基于提取结果进行后处理得到带有宽度信息的道路中心线矢量数据与道路面矢量数据。

图1 本文工作概览图Fig.1 The overview of the work flow chart

1.1 道路面提取方法

在遥感影像上，城郊山区道路存在严重遮挡现象，容易造成自动提取结果不理想，突出表现为道路不连续性和破碎的问题相对严重。针对上述问题，基于深度学习语义分割模型，提出一种通过样本变换，将道路二类问题转化为多分类问题的模型训练方法。在样本变换中引入连续距离变化信息，迫使模型强化学习道路空间距离特征，缓解因遮挡问题造成的道路连续性破碎问题。该训练方法具有可迁移性，可适用于其他常规语义分割模型。同时，还提出一种基于ResNet骨架网络的道路语义分割模型。

1.1.1 样本变换

为强化模型学习道路空间连续特性，需要细化样本特征表达粒度，二类样本仅区分道路和非道路，本节引入每个像素与最近道路边缘像素间距离信息，突出空间距离信息连续性变化特征以最终达到学习道路连续性特征的目的。

为得到各像素空间距离分布特征，引入符号距离变换(signed euclidean distance transform，SDT)[14]概念，将二类样本映射到距离空间，SDT定义如下所示

(1)

式中：符号距离值SDTi表示当前像素xi到其最接近的不同类别像素xj的距离；
DE为欧几里得距离；
F和B分别为前景(道路像素)和背景区域(非道路像素)，这里的符号标识像素是属于前景区域(+)，还是背景区域(-)。

本节将对SDT变换方式进行调整使其更适合道路提取模型，并命名为边缘符号距离变换，边缘符号距离 BSDi值定义如下所示

(2)

其中:对于每个像素位置xi，距离值Di被定义为xi到位于道路边缘上的最近点xj的距离。然后将距离Di通过对数映射方式实现缩放。使其对距离变化的敏感度随着与道路边缘距离的增大而降低，即在道路边缘及其附近信息粒度更细，而在距离道路边缘远的背景区域信息粒度更粗，以达到促使模型进行特征学习时将注意力集中在道路边缘及邻近区域，而对距离道路边缘很远的背景区域的特征注意力小。此外，同样赋予道路和非道路像素符号为正、负，道路边界像素的BSDi值为零。

然后对BSDi值根据先验知识，进行归类得到多类道路样本。在阈值设定时，类别细分程度遵循以下规则：首先是距离道路边缘近的道路区域细化程度最高，其次是距离道路边缘近的非道路区域细化程度较高，最后是距离道路边缘越远的非道路区域细化程度越低。相比直接采用连续变量BSDi的距离表达方式，进行分段归类后的多类表达方式计算量更少，在加快模型训练速度的同时，由于远离道路的背景区域标签粒度很低，能进一步削弱对远离道路的背景像素值变化的注意力，从而起到一定的噪声过滤作用。

图2中将上述3种样本表达方式进行了可视化，包括二类特征表达、符号距离特征表达、多类特征表达，从可视化效果可以看出，与道路/非道路二类标记特征表达不同，距离变换后的特征表示可以更好地实现细粒度边界信息表达。实值距离信息促使模型更好地识别道路边界，通过学习与边界间距离特征，更好地进行道路像素提取，而不仅限于光谱特征学习。因为多类道路样本将迫使模型在参数训练过程中，在光谱特性因遮挡易错分的像素进行判别分类时，学习其BSDi距离值与其附近易判别像素的BSDi距离值之间的相关性来辅助分类判断，以达到修正形状畸形或破碎不连续道路目的。

图2 不同样本特征表达方式Fig.2 Different expressions of road features

1.1.2 模型构建

在经典的ResNet骨架网络基础上进行道路提取模型构建。图3概述了本文道路语义分割模型框架，如图所示该模型由编码模块、分类模块、损失计算3部分组成。

图3 道路语义分割模型框架图Fig.3 The framework of road semantic segmentation model

编码模块用于对输入影像进行多次卷积和池化操作，从而抽象出深层次特征图，以便更好地捕捉上下文信息；
选取ResNet作为骨架网络进行特征提取，它由5组卷积构成，且每组输出均为输入的1/2，最终得到的特征图是输入图像的1/32。考虑到城郊山区道路通常宽度小，像素少，故模型需要保持输入图像的高频细节信息。为此，修改最后2个卷积组步长，在最后2组卷积操作中不再缩小特征图，最终得到的特征图是输入图像的1/8。同时使用扩张卷积来增大卷积层感受野，进一步丰富空间上下文信息。

在分类模块中，对编码器输出的初步特征图进行降维，获得更深层次特征。其中采用批归一化层将每个小批量上输入分布归一化为标准正态分布，减少内部协变量偏移以加速学习过程[15]。通过1×1卷积层获得多类分类概率图，即每个像素值为该像素属于各类别的概率。最后通过上采样得到与输入图像大小一致的多类分类概率图。

在损失计算中，针对每个像素取预测概率最大值对应类别作为最终预测类别，再采用交叉熵损失函数计算预测结果与多类真实标签之间的分类损失。同时采用反向传播算法进行模型训练直至损失收敛。

(3)

式中：N为样本总数；
M为类别总数；
pi,m为第i个样本属于m类的概率；
yi,m为指示变量，当第i个样本的真实标签值与m类别值一致时为1，否则为0。

1.1.3 评价指标

在模型测试阶段，将最终输出的10类重新合并为2类，即道路和非道路，然后计算F1指标定量评定模型效果。其中F1是评价分类模型的常用指标，是精度(precision)和召回率(recall)的调和平均值，能综合考虑错分和漏分两方面的误差以合理评估模型效果。故本文采用F1值作为评价指标对模型效果进行评估，具体计算方式如下所示:

(4)

(5)

(6)

其中:TP(true positive)表示标注为道路且模型分类结果为道路(正样本)的像素总数量；
FP(false positive) 表示标注为非道路但模型分类结果为道路(正样本)的像素总数量；
FN(false negative)表示标注为道路但模型分类结果为非道路(负样本)的像素总数量。

1.2 后处理方法

1.2.1 道路面矢量化

为了提高模型提取结果的应用价值，对上述模型提取结果进行自动拼接和地理位置信息复原操作(图4)。在对测试区域进行道路提取时，往往考虑GPU容量会对其进行分割，分割时规范化子图命名为image_A、B，其中A、B分别为子图左上角像素在原测试区域行号和列号，对模型输出结果子图进行拼接。这里模型输出结果指将模型预测得到的多类道路合并为二类(道路和非道路)后的结果。需要以ASCII码作为中间转换介质，将原测试区域影像中含有的地理坐标信息赋给由于切割拼接而丢失地理坐标信息路网提取结果图像。最后再通过栅格转矢量操作，实现将模型道路面提取成果以矢量shapefile格式输出，方便后处理及各类应用级空间分析。

图4 结果矢量化流程Fig.4 Vectorization process of results

1.2.2 中心线提取

在路网数据应用路径规划时，往往会采用线数据而非面数据，因此道路中心线是路网的一种重要应用级格式。本节基于2.2.1中获取的道路面polygon数据，通过几何计算生成中心线polyline数据,并基于voronoi图思想进行道路中心线提取。主要通过以下3个步骤完成：对道路多边形边界加密；
构建voronoi图；
根据所构建的votonoi图进行道路中心线提取。

第1步：加密多边形边界。

取0.5 m为间距加密边界点，循环至总距离等于多边形周长时停止。

第2步：根据加密边界生成voronoi图。

首先采用Bowyer-Watson算法[16]生成Delaunay三角网：

1) 构造一个超级三角形，包含所有散点，放入三角形链表。

2) 将点集合中的散点依次插入，在三角形链表中找出所有其外接圆包含插入点的三角形(称为影响三角形)，删除这些影响三角形的公共边形成空腔，然后将插入点同空腔全部顶点连接起来，完成一个点在Delaunay三角形链表中的插入。循环执行，直到所有散点插入完毕。

在三角网基础上生成voronoi图：

3) 离散点自动构建三角网，即构建Delaunay三角网。对离散点和形成的三角形编号，记录每个三角形是由哪3个离散点构成。

4) 对与每个离散点相邻的三角形按顺时针或逆时针方向排序，以便下一步连接生成泰森多边形。计算每个三角形外接圆圆心并记录。

5) 根据每个离散点相邻三角形，依次连接这些相邻三角形外接圆圆心得到泰森多边形。对于三角网边缘，作垂直平分线与全图轮廓相交，与图廓一起构成泰森多边形。遍历结束后，所有voronoi边被找到，画出voronoi图。

第3步：提取voronoi图的脊生成道路中心线。

1) 获取voronoi图中所有的节点，将所有处于原始道路坐标轮廓之外的点ID命名为-1，其他ID保持不变。

2) 获取所有voronoi边，若voronoi边中两个节点ID均不为-1，且voronoi边在道路要素内部，则将这条边保存到结果集合中。

3) 将结果集合转换为矢量格式polyline输出。

1.2.3 宽度计算

提取林区道路宽度信息可以在林火应急救援时为消防应急救援部队提供道路通行方案，为林火救援争取宝贵时间，因此本文将通过计算挖掘道路面中隐含的道路宽度信息。

目前道路宽度提取方法主要有[17]：细化方法道路宽度提取、利用边缘信息的宽度提取[18-19]、基于 Hough 变换的道路宽度提取[20]、基于多方向结构的道路宽度提取[21]、基于模板匹配的道路宽度提取。其中用 Hough[20]变换检测主要道路宽度的方法使用较多, Hough变换是以构造相应的数学形态学线性结构元素进行宽度计算，但规则化道路场景效果较好，在城郊山区道路狭窄、遮挡场景下难以设计线性结构，几乎无法复用。故基于上一节从遥感影像中提取的道路矢量成果提出更适合于工程化的道路宽度计算方法，使得道路场景鲁棒性更好。该方法在前文获取道路面和道路中心线矢量数据基础上进行计算。如图5所示，具体思路是通过遍历道路中心线上各点Ci，依次取临近2个点，计算微小线段CiCi+1斜率，通过几何关系获得微小线段垂线与道路面边线2个交点Ai,Bi，这2个交点间距离即为微小线段处道路宽度信息。

图5 道路宽度计算示意图Fig.5 Schematic diagram of road width calculation

具体步骤如下：

1)在已知道路中心线和道路polygon的矢量数据后，通过取道路中心线的2点Ci、Ci+1，获取其地理坐标，从而计算得到CiCi+1的斜率。

2)计算得到CiCi+1的垂直平分线，其将与道路边线相交于点Ai、Bi，并计算线AiBi的长度Li。

3)剔除Li中的异常点，然后计算Lmax、Lmin和Lmean，即道路宽度的最大值、最小值和平均值，在笛卡尔坐标系下，就能得到道路的宽度值，单位为m。

(7)

得到每段道路宽度信息后，为后续应用提供重要决策支撑：如作用于林火应急救援消防车车辆通达性分析。

2.1 精度分析

2.1.1 实验数据

为使本文实验更具科学性，将在自制Yajishan城郊山区道路数据集和Massachusetts公开道路数据集上分别进行实验。为了更好地研究城郊山区道路提取问题，课题组研制了一个专门面向城郊山区的道路样本集，命名为Yajishan道路数据集。数据选址为北京刘家店镇丫髻山及附近村庄范围，包含冬季(33平)和夏季(25平)该地区跨时相两季的山区和农村道路，它们通常比城市道路窄，背景更为复杂，存在较多树木或阴影遮挡，具有较大挑战性。数据源为高景一号(0.5 m分辨率)，共1 906个样本，单个样本大小为512像素×512像素，其中1 818用于训练集(重叠比例为256像素)，88张作为测试集(重叠比例为0像素)。对应标签是通过人工目视解译对遥感影像进行矢量化得到。制作过程选择适当缩放比例，较准确地沿着边缘像素绘制生成shapefile格式矢量文件，通过矢量转栅格，获得二值化栅格影像(0为背景，1为道路)，是严格意义上像素级语义分割道路面样本。

为了实验的可对比性和科学性，还采用了公开道路数据集Massachusetts[9]，其数据源选址为美国马萨诸塞州，共覆盖2 600 km2，包含城市、郊区和农村多种场景。共1 171张航拍图像，影像分辨率为1.2 m，单个样本大小为1 500像素×1 500像素，其中1 108张用于训练集，14张用于验证集，49张作为测试集。另外对应样本标签是通过对从OpenStreetMap获得的道路中心线矢量数据做栅格化处理，且统一规定线宽为7个像素，因此并非严格意义上的像素级语义分割道路面样本。

下文实验将根据2.1.1节边缘符号样本变换对Yajishan和Massachusetts 道路数据集二类样本进行距离变换，基于表1 BSDi值分类阈值设定规则，得到道路多类样本(10类)，其中标签0～4为道路，5～9为非道路。

表1 分类阈值表Table 1 Distance threshold table

2.1.2 实验参数

采用4块NVIDIA Titan XP GPU进行模型测试实验，内存为12 GB。对于Yajishan数据集学习率初始值设为0.01，batchsize设置为16，epoch为100个。对于Massachusetts数据集学习率初始值设为0.01，batchsize设置为8，epoch为150个。在数据增强方面，对训练集采用随机左右翻转。在模型预测结果上，利用Multi-Scale策略融合多分辨率预测结果。

2.1.3 结果分析

1)实验1 不同数据集上多类样本训练效果测试

基于2.1.2中构建的模型，分别在Yajishan道路数据集和Massachusetts道路数据集上进行训练，并在测试集上定量评估道路面提取能力，并进行可视化定性评估道路连续性方面的提升效果。

分析表2可知在城郊山区场景Yajishan道路数据集上，以F1为评估标准，使用多类距离样本训练本文模型最终测试精度可达81.02%，比单独使用二类样本提高2.88%。在覆盖城市、郊区、农村场景的Massachusetts道路数据集上，同样以F1为评估标准，使用多类距离样本训练本文模型比单独使用二类样本提高2.89%，F1可达77.85%。需要说明的是由于Massachusetts道路样本标注是由宽度为7个像素的扩展中心线生成，故真值本身存在误差，所以以像素级评估精度时F1值会比较低。

表2 引入多类样本训练本文模型的性能提升效果Table 2 The performance improvement of introducing multi-class samples to train proposed model

分析图6和图7，可以看出在两个数据集上，使用二类样本训练本文模型得到的结果在连续性上存在明显道路连续性问题。说明引入距离多级样本迫使模型学习道路像素间位置聚类关系，使得因遮挡而光谱特征接近非道路地物的像素，在充分考虑距离特征后被正确分类，能够克服大部分遮挡问题。这是因为从距离特征角度，这些被遮挡的道路像素与临近未遮挡部分道路像素间，在垂直道路方向有明显相似距离连续变化特征，在平行道路方向有明显距离相似特征。综上，使用多类样本训练本文模型能够生成语义更为精准、连续性表达能力更好的道路面数据。

图6 基于Massachusetts道路数据集引入距离多类样本的本文模型提取结果Fig.6 Extraction results of introducing multi-class samples to train proposed model based on Massachusetts road dataset

图7 基于Yajishan道路数据集引入距离多类样本的本文模型提取结果Fig.7 Extraction results of introducing multi-class samples to train proposed model based on Yajishan road dataset

2)实验2 不同模型上的多类样本训练效果测试

为了验证本文提出的引入距离信息将二类样本转换为多类样本训练方法，不仅在本文模型上具有提升模型道路提取能力效果，在常用语义分割模型上也同样适用。本实验基于Yajishan道路数据集，构建常用语义分割模型DeepLabV3[22]和U-Net[23]，并分别进行引入多类样本前和后的提取效果对比实验。

分析表3可知，DeepLabV3模型采用多级样本进行训练最终在Yajishan测试集上的F1指标可达79.8%，相比采用二类样本训练的方式提高5.98%。同样U-Net模型采用多级样本的训练方式也提高了2.59%，F1指标达79.3%。实验结果表明，引入距离信息，强迫模型学习距离信息在道路对象的垂直和水平方向的连续变化特征，有助于提高模型精度。

表3 采用多类样本训练常用语义分割模型的性能提升效果Table 3 Performance improvement effect of introducing multi-class samples to train proposed model based on Yajishan road dataset

3)实验3 本文方法与常见模型效果对比

最后在Yajishan道路数据集、Massachusetts道路数据集上分别对比了本文方法与常用语义分割模型道路提取效果。由表4可见本文提出的城郊山区道路提取模型及训练方法在两个数据集上表现均比常用语义分割模型DeepLabV3、U-Net要好，验证了本文工作的有效性。

表4 本文方法与常见模型精度对比Table 4 Comparison of proposed model with other common used semantic segmentation models

2.2 应用分析

利用3.1在城郊山区Yajishan道路数据集上训练的模型，在测试集上进行道路面信息提取，并在此基础上通过2.2节系列后处理，包含道路面矢量化、中心线提取、宽度计算。然后结合消防应急车辆车宽尺寸数据，对该区域进行消防车通达度空间分析。

根据《建筑设计防火规范(GB 50016—2014)》[24]，目前国内消防车宽度大都为3.5 m，消防车道净宽和净空高度均不应小于4.0 m。故制定如下规则：道路宽度不小于4.0 m，能走消防车，但仅能单向通行，即只允许同向单辆消防车通过，不能同时有上山车和下山车；
双行道按照平均宽度计算，至少道路宽度不能低于8.0 m，支持双向通行，即2辆消防车行驶方向可相反，上山车、下山车互不影响，同时进行。对丫髻山试验区道路宽度进行空间分析，结果如图8和表5所示。

图8 测试区消防车通达度分析Fig.8 Analysis of fire truck accessibility in test area

表5 道路宽度分级情况Table 5 Road width classification

针对城郊山区道路，基于深度学习技术，本文提出一种道路提取语义分割模型，以及一种将道路二类问题转化为多分类问题的道路语义分割模型训练方法，迫使模型侧重学习道路像素间空间位置特征，缓解因遮挡问题造成的道路不连续性问题，分别从定性和定量角度在Yajishan数据集和Massachusetts数据集上证明该方法的有效性，且实验表明该训练方法同样适用于其他语义分割模型如U-Net、DeepLabV3。最后以城郊丫髻山风景区(Yajishan数据集测试集)为例，实现了基于语义分割模型提取结果进行带宽度信息的矢量道路中心线数据的生成，并结合消防车道规范要求进行道路通达度空间分析。实验证明，本文提出的道路语义分割模型、训练方法及后处理应用方法，能有效缓解目前商业电子地图山区道路信息不足问题。

猜你喜欢 宽度语义像素 真实场景水下语义分割方法及数据集北京航空航天大学学报(2022年8期)2022-08-31像素前线之“幻影”2000小哥白尼(军事科学)(2022年2期)2022-05-25“像素”仙人掌红领巾·萌芽(2019年8期)2019-08-27高像素不是全部CHIP新电脑(2016年3期)2016-03-10孩子成长中，对宽度的追求更重要人生十六七(2015年5期)2015-02-28汉语依凭介词的语义范畴长江学术(2015年1期)2015-02-27你有“马屁股的宽度”吗？销售与市场·管理版(2009年21期)2009-09-03您的像素，饱和吗？［上］数码影像时代(2006年5期)2006-05-29 相关热词搜索：城郊，提取，引入，