视觉传达约束下模糊人脸图像多尺度特征重建模型
时间：2023-03-04 08:05:03 来源：千叶帆 本文已影响人
慈睿佳，李仁伟
（中北大学，山西 太原 030000）
通过人脸识别技术[1]可以直接确定人物对应的身份，因此人脸识别在很多领域都起到了关键作用，如考勤系统、门禁系统、人脸支出系统等。随着人脸识别的逐渐应用，对其识别效率和质量有了更高的要求。受到自然环境以及采集设备的影响，拍摄人脸图像时，难以保证每张图像细节都是清晰的，而模糊人脸图像[2]分辨率较低，影响了人脸识别系统的识别准确性。面对这种情况，如何将模糊的人脸图像进行重建，提高特征分辨率，增强视觉传达效果[3]，成为人脸识别领域研究的重点。
图像是最具有代表性的视觉传达符号，比文字出现得更早，甚至文字都是由图形转换而来。视觉符号越清晰，传递的信息越准确，因此在视觉传达约束下，进行模糊人脸图像多尺度特征重建具有重要的现实意义。
胡正平等提出一种基于注意力机制的重建方法，该研究中以采集到低分辨率人脸图像作为输入，然后提取人脸图像的特征信息，利用融合了残差块和注意力模块的堆叠网络生成高分辨率人脸图像[4]。
王宝成等提出了一种基于局部稀疏先验的人脸重建模型，该研究首先利用局部纹理约束对人脸图像进行处理，从中获取人脸的纹理；
然后在其约束下，利用L（1 2）正则化求解稀疏表示系数，完成人脸高分辨重建[5]。
在以往研究的重建模型中，普遍以单一特征作为重建的基础，使得重建后的图像质量往往达不到预期；
而多尺度特征相比单一特征更为全面和有效。为此，本文提出一种视觉传达约束下模糊人脸图像多尺度特征重建模型，通过提取多尺度特征以期提高重建后的人脸图像质量。
模糊人脸图像[6]中很多细节信息清晰度不足，导致人脸识别系统在识别时经常出现错误识别或者无法识别的问题，影响其识别准确率和效率。
针对这一点，构建视觉传达约束下模糊人脸图像多尺度特征重建模型。
1.1 模糊人脸图像去噪
针对模糊人脸图像，首要就是对其进行预处理，在一定程度上恢复图像的清晰度，消除图像中的干扰信息[7]。
1.1.1 模糊人脸图像灰度处理
灰度处理是指对图像像素统一到0～255之间，消除其中的色彩分量[8]。具体过程如下：
步骤1：输入原始模糊人脸图像。
步骤2：确定图像的3个基色分量。
步骤3：按照式（1）灰度处理输入图像。
式中：A(i,j)代表处理后灰度值；
(i,j)代表图像中像素点位置；
R(i,j)，G(i,j)，B(i,j)分别代表红、绿、蓝原始3个基色分量。
步骤4：将A(i,j)返回给基色分量。
步骤5：输出灰度人脸模糊图像。
1.1.2 人脸图像去噪
人脸图像模糊的原因是图像中包含的噪声点较多，因此图像在重建前需要对原始人脸图像进行去噪。
中值滤波[9-10]是图像去噪中常用的一种手段，通过滤波窗口来遍历去除噪声。然而，当选择较大的窗口时，去噪效果较好；
但是与此同时也导致图像中的部分细节信息丢失；
但是选择较小的窗口时，无法达到预期的去噪效果。
针对这一点，本研究中选择一种改进中值滤波算法去除人脸图像中的噪声，即通过灵活变动滤波窗口大小的方式来实现在达到噪声点去除目标的同时，也能保留细节信息。具体过程如下：
步骤1：假设滤波窗口大小为bi，其中bmin≤bi≤bmax。bmin，bmax代表最小、最大滤波窗口尺寸。
步骤2：寻找bi范围内像素极大值Cmbiax、极小值Cmbiin和中位值Cmbied。
步骤3：计算bi内的脉冲噪声密度，公式为：
式中：ρ代表脉冲噪声密度；
d1，d2分别代表Cmbiax，Cmbiin的最小像素值的密度。
步骤4：寻找非脉冲噪声点并组成集合D。
式中Cjbi代表滤波窗口bi内的第j个非脉冲噪声点像素点。
步骤5：判断ρ是否小于等于1/2？若小于，计算D的中值，并转到步骤8；
否则进行步骤6。
步骤6：判断bi是否小于等于bmax？若是，回到步骤2；
否则，令bi=bmax，并计算bmax内像素点灰度值标准差E和最小灰度差Êmin。
步骤7：判断Êmin是否小于E？若是，将直接输出邻域中某一像素点的灰度值，记为ℑj；
否则，利用Cmbied替代当前像素点，即ℑj等于Cmbied。
步骤8：比较ℑj与bmin，bmax。若ℑj大于bmin、小于bmax，说明该像素点不是噪声点；
否则，该像素点为噪声点，并用D的中值替代当前点。
步骤9：利用直方图均衡化对得到的像素点进行变换，最后得到去噪后的人脸图像。
经过上述灰度化和去噪操作，完成了模糊人脸图像预处理工作，在一定程度上提高了图像的清晰度。
1.2 多尺度特征提取
人脸图像特征提取是高分辨图像重建的前提，因此基于已完成人脸图像预处理，本节在图像分解的基础上提取人脸多尺度特征。相比较单一特征，多尺度特征[11]包含信息更加全面，更能够保证图像重建的效果。具体过程如下：
步骤1：输入预处理好的人脸图像。
步骤2：按照采样间隔为2σ（σ为尺度空间因子）的频率对人脸图像进行连续抽样。
步骤3：按照高斯金字塔结构式（4）分解人脸图像。
式中：x，y分别代表分解图像的像素行数和列数；
Fk(x,y)代表分解后的图像；
k代表分解层数的序号，1≤k≤N；
v(x,y)代表高斯函数[12]。在本研究中，多尺度取值为3，得到3个尺度的人脸图像。
步骤4：针对每一尺度，分别提取不同的特征。提取公式分别如下：
1）底层LBP特征：
式中：LBP(α,β)代表LBP特征；
α代表所覆盖区域内像素点数̂代表中心阈值；
β代表模板所覆盖的区域半径；
hi代表模板中第i个像素的灰度值。
2）中间Gabor特征：
式中：G代表位置变量；
η代表Gabor函数；
g(i,j)代表图像的像素点。
3）顶层HOG特征。
①对人脸图像进行Gamma校正。
②计算两个方向上的梯度κx(i,j)和κy(i,j)，分别代表水平梯度和垂直梯度。
③计算梯度幅值χ(i,j)和方向ℜ(i,j)，计算公式如下：
梯度大小：
梯度方向：
④细分图像，并将每个单位图像块称为cell；
⑤为每个cell构建梯度直方图[13]，记为γ；
⑥根据γ对cell进行组合，形成block；
⑦block内所有cell的γ即为所要求的HOG特征。
步骤5：将三种特征归一化处理，得到：
经过上述研究，完成人脸图像多尺度特征Y={yLBP,yGabor,yHOG}的提取工作。
1.3 高分辨人脸图像重建
人脸图像重建是指经过某些处理技术将模糊人脸图像反演恢复出对应的高分辨率图像。
由此，本研究中利用深度学习[14-15]从外部训练样本库入手，学习寻找高低分辨率人脸图像之间的对应关系，并加入人脸图像的“视觉传达”先验约束，从而在实际应用中弥补模糊人脸图像中缺少的细节信息，实现人脸图像的高分辨率重建。
上述重建模型中选择的深度学习模型为自编码的超分网络。高分辨人脸图像重建过程如下：
1）从人脸数据库中选出部分高分辨人脸图像作为训练集，记为{pi,i=1,2,…,m}，以此为输出。
2）对{pi,i=1,2,…,m}进 行 模 糊 化 处 理，得 到{qi,i=1,2,…,m}。
3）提取{qi,i=1,2,…,m}的三个尺度上特征，即LBP特征、Gabor特征以及HOG特征，组成特征图像集，分别表示如下：{ςi,i=1,2,…,m}，{ζi,i=1,2,…,m}，{ξi,i=1,2,…,m}，以此为输入。
4） 输 入{ςi,i=1,2,…,m}，{ζi,i=1,2,…,m}，{ξi,i=1,2,…,m}到自编码超分网络中进行两层运算。公式如下：
式中：T1(xij)代表行编码器Encoder层输出；
T2(T1(xij))代表解码器Decoder层输出，即高分辨率人脸图像像素数据；
w1，w2代表权重；
xij代表第i幅人脸图像的第j个特征；
u1，u2均代表偏置，即“视觉传达”先验约束矩阵，该矩阵由视觉传达灵敏度组成。
5）计算自编码超分网络输出与实际高分辨人脸图像像素之间的差值。根据差值是否大于设定的阈值来判断是否需要调整模型的权重和阈值，若不需要，就表明完成了高分辨人脸图像重建模型的训练。
上述训练好的模型为模糊人脸图像多尺度特征重建模型。
2.1 测试用例
从CASIA-Web Face数据集中选出200张人脸图像作为测试用例，其中100张为训练样本，另外100张为测试样本。然后进行模糊化处理，得到测试所需要的用例。模糊人脸图像样本示例如图1所示。
图1 模糊人脸图像样本示例
2.2 多尺度特征提取结果
针对人脸图像样本，基于1.2节研究过程，提取多尺度特征，结果示例如表1所示。
表1 多尺度特征提取示例
2.3 人脸图像重建结果
利用训练样本对自编码超分网络训练，得到高分辨人脸图像重建模型，然后输入测试人脸图像样本到模型，进行高分辨率重建。所研究模型、基于注意力机制的模型[4]、基于稀疏表示的模型[5]重建结果如图2所示。
图2 人脸图像重建结果
由图2可知，所研究模型重建后的人脸图像清晰度更高，而基于注意力机制的模型、基于稀疏表示的模型存在边缘模糊等问题。
2.4 重建效果评价
针对重建后的人脸图像，计算峰值信噪比与结构相似性等两项指标，以此判断人脸图像重建效果。
1）峰值信噪比
2）结构相似性
式中：S(I,̂)代表结构相似性；
I，̂代表原始人脸图像、重建人脸图像；
ϕI，ϕÎ代表I，̂的像素点均值；
λI，λÎ代表̂的像素点的标准差；
φ，̂代表避免模型不稳定的常数；
ψ(I,̂)代表I，̂的协方差。计算̂与S(I,̂)两个指标的平均值，结果如图3、图4所示。
图3 平均峰值信噪比对比图
图4 平均结构相似性对比图
从图3和图4中可以看出，所研究模型应用下，平均峰值信噪比达到9，平均结构相似性达到0.87，两种对比模型的平均峰值信噪比低于8.2，平均结构相似性低于0.63。综上所示，所研究模型相较于两种对比方法的应用结果更高，由此说明所研究模型的人脸图像重建质量更高。其主要原因是所研究模型在图像去噪的基础上进一步提取了人脸的多尺度特征，优化了最终图像质量，提高了峰值信噪比和结构相似性。
当下人脸识别技术在很多领域都得到了广泛应用，但是也普遍受制于人脸图像的清晰度。为提高模糊人脸图像识别准确性，构建了视觉传达约束下模糊人脸图像多尺度特征重建模型。该模型提取了3个尺度下的3种特征，弥补了单一特征信息量的限制，最后通过自编码超分网络实现高分辨人脸图像重建。应用测试结果表明，所构建模型平均峰值信噪比和平均结构相似性均较高，且重建后的图像更加清晰，达到了研究目标。
猜你喜欢 像素点人脸灰度 采用改进导重法的拓扑结构灰度单元过滤技术北京航空航天大学学报(2022年6期)2022-07-02有特点的人脸少儿美术·书法版(2021年9期)2021-10-20一起学画人脸小学生必读(低年级版)(2021年5期)2021-08-14Bp-MRI灰度直方图在鉴别移行带前列腺癌与良性前列腺增生中的应用价值天津医科大学学报(2021年1期)2021-01-26基于局部相似性的特征匹配筛选算法现代电子技术(2021年1期)2021-01-17基于5×5邻域像素点相关性的划痕修复算法上海大学学报（自然科学版）(2018年5期)2018-11-02三国漫——人脸解锁动漫星空(2018年9期)2018-10-26基于canvas的前端数据加密电脑知识与技术(2018年35期)2018-02-27基于最大加权投影求解的彩色图像灰度化对比度保留算法自动化学报(2017年5期)2017-05-14基于逐像素点深度卷积网络分割模型的上皮和间质组织分割自动化学报(2017年11期)2017-04-04 相关热词搜索：尺度，重建，传达，
