光学系统与图像处理端到端协同设计及其应用

顿 雄，张 健，冯诗淇，罗 洪，王占山，程鑫彬

（同济大学物理科学与工程学院精密光学工程技术研究所，先进微结构材料教育部重点实验室，上海市数字光学前沿科学研究基地，上海市全光谱高性能光学薄膜器件与应用专业技术服务平台，上海 200092）

光学成像系统作为人类视觉功能延伸扩展的工具，广泛应用于军事和民用领域。传统成像系统是“所见即所得”的成像模式[1］，受光学系统设计、强度成像机理、成像衍射极限等因素制约，在像差矫正、空间分辨、光谱分辨、信息维度与探测灵敏度等方面存在很大局限性。近年来，随着光学、电子学、信息处理、计算方法和高性能计算机的发展，计算成像技术应运而生[2-4］，它打破了传统“所见即所得”的模式，采取了更加灵活的非直接成像模式，通过联合光学系统和图像处理来实现最终需要的成像功能。这种灵活的设计模式可以改变光学成像采集信息的模式，并平衡光学硬件空间和图像处理算法软件空间所依赖的资源，从而赋予其诸多传统成像系统难以获得的革命性优势，如简化系统（单镜片成像[5-7］），获得额外功能（光谱成像[8］），突破设备原有分辨率限制（超分辨成像[9］）等。但目前的计算成像系统多采取顺序设计模式，即光学系统和图像处理算法依据经验规则独立设计，这种人为设定的经验规则很多时候并非最优，特别是从计算成像自身的角度来说，人为制定的规则可能并不能与后续图像处理算法相匹配，而且这种顺序设计模式难以考虑到诸如加工误差等不确定因素的影响。总的来说，基于顺序设计方法的计算成像系统对整体优化空间探索不足，性能和鲁棒性都有很大的提升空间。

因此，人们也一直在探索光学系统与图像处理算法协同设计的方法，但由于传统光学设计过程是不可自动微分的，传统优化设计理念下难以建立起它们之间协同优化架构，进展有限。2018年，在深度学习优化模型的启发下，我们建立了针对单个光学元件的光学系统与图像处理算法协同优化框架[5］，从而可以真正意义上开展光学系统与图形处理算法的协同设计。一方面，端到端协同设计通过突破光学设计和图像后处理之间的壁垒，全面探索整个解空间，找到光学和算法部分在硬件成本、加工可行性、体积重量、成像质量、算法复杂度以及特殊功能间的最佳折中，从而实现在设计要求下的最优方案，极大地提升成像系统的性能。另一方面，端到端协同设计使得研制基于特定任务的最优成像系统成为可能，有望实现成像系统的多样性和多功能化。自端到端光学联合设计（End-to-end Co-design）策略提出以来，迅速吸引了学界的广泛关注，经过近几年的发展已成为计算光学研究的热点分支，在消 色 差 成 像[5-6，10］、大 景 深 成 像[5，11-14］、光 谱 成像[8，15-16］、单 相 机 三 维 成 像[17-19］、高 动 态 范 围 成像[20-21］、超 分 辨 成 像[5，7，9］等 方 面 都 取 得 了 广 泛应用。

本文主要介绍基于端到端协同设计技术的基本架构，包括可微分成像模型和计算降维方法。此外，介绍了我们基于这一框架在平面透镜的宽谱成像、平面透镜的大视场成像、大景深成像，超分辨成像和快照式光谱成像方面的研究进展，其中有部分内容是作者在沙特阿卜杜拉国王科技大学的工作。

光学系统与图像处理端到端协同设计架构如图1所示，其包括成像模块、重建模块以及误差模块。长期以来，端到端设计难以实现的根本原因在于缺乏可微分的成像模块。2018年，我们基于波动光学推导针对单透镜的可微分成像模块[5］，并于2021年又发展了基于可微分射线追踪的成像模型[22］。在重建模块和误差模块上我们也发展了众多方法。

2.1 可微分成像模块

如图1所示，光学成像模块主要包括光学系统点扩散函数计算过程foptics，点扩散函数（Point Spread Function，PSF）与目标图像卷积，以及探测器积分采样过程fsensor三部分。PSF计算过程foptics采取波动光学理论推导得到，具体如下：

其 中：pλ为 单 透 镜 光 学 系 统 的PSF，j为 虚 数 单位，z′表示待模拟目标场景距镜头的距离，n表示透镜材料的折射率，ϕ(x，y)表示透镜的面型（含可能的加工误差），z表示透镜距探测器的距离，λ表示目标场景的波长，k表示波数。有了透镜的点扩散函数后，完整的探测器输出计算过程fsensor可以描述为：

其中：Rc表示探测器光谱响应，Iλ表示目标场景图像，S[·]表示离散采样以及探测器噪声模拟操作。从公式（1）可以看出，点扩散函数的模拟过程为二维运算，其计算量随着光学元件口径以平方关系增加。比如设计一个8 mm口径的单透镜，采样间隔为2μm，数据量高达16 000 000，这给端到端误差方向传播过程中梯度存储造成了很大的内存需求挑战。我们在2020年提出了基于同心圆环分解的点扩散函数计算降维方法[6］，如图2所示。考虑到光学系统一般都是旋转对称性结构，我们将原本的二维面型表述转化成一系列同心圆孔的线性组合，并且利用圆孔的点扩散函数（已知的一阶贝塞尔函数）成功地将原先二维PSF模拟转化为一维线性组合，使得整个原始的内存需求降低了1个数量级，可以进一步设计更大口径光学系统。

前述基于波动光学的可微分成像模块只能够用来设计单透镜，虽然已经实现了很多功能，但单个元件的调控能力难免不足。2021年，我们发展了针对透镜组的可微分光线追踪成像模型[22］，如图3所示。可微分射线光线追踪广泛应用于图形学中的动画渲染领域，我们将其引入到镜头成像中。具体来说，我们采取了反向追踪的方法，首先将探测器按照像素大小划分成对应数量的网格，然后对每个网格发出一组光线逆向追踪到目标场景空间，根据每根光线与目标场景的交点位置计算每个光线对应的强度，最后把它们相加作为所对应目标像素的图像信号。为了减小每个像素点所需追踪的光线数量，我们采取了多次蒙特卡洛追迹后平均的方法，这使得我们每次仅需追踪64根光线，10次平均即可得到接近百万根光线的效果。这种可微分光线追踪成像模型没有使用诸如徬轴近似的假设，理论上其可以用于任何复杂光学系统和图像处理算法的端到端协同设计。

2.2 图像重建模块

图像重建模块用于将探测器输出的原始图像进行重建，常用的重建方法包括基于物理模型的重建方法、基于深度学习的重建方法以及物理模型结合深度学习的重建方法。基于物理模型的重建方法最典型的就是修正维纳滤波[5］，与传统维纳滤波算法不同，为了更便于在设计初期让深度学习框架给与光学部分更大的权重，我们对原始图像额外进行了加权：

其中：γ为修正系数，属于可优化的变量，随着优化的进行，γ会逐渐减小；
F(pc)为光学传递函数；
*表示复共轭；
Ic为探测器采集的图像；
F(·)和F-1(·)分别表示傅里叶变换和傅里叶逆变换。

基于深度学习的重建方法也称为数据驱动的重建方法，典型的网络包括Unet和Resnet，我们在2020年提出了一种Unet和Resnet的结合体——Res-Unet[6］，见 图4。它 既 保 留 了Unet对图像在多个尺度上操作的特点，又可以像Resnet那样通过不断扩展网络来增加重建网络的性能，适合模糊程度一般的图像。近年来人们也发展了物理模型结合深度学习的重建方法。如Monakhova等使用了一个循环的交替ADMM（Alternating Direction Method of Multipliers）网络（Le-ADMM）[23］，他们将ADMM循环中 的每一个超参数作为优化变量，通过网络训练学习；
Ethan Tseng等在2021年提出了在深度学习特征空间进行维纳滤波的重建方法[10］，其分为3个过程，首先是一个多尺度的特征提取网络，然后是维纳滤波层，最后是特征重建网络，非常适合中等模糊的图像。Kyrollos Yanny等在2022年提出Multi-WienerNet网络，采取了维纳滤波和Unet级联的方案[24］，由于维纳滤波在最前面，这种方式适合处理非常模糊的图像。

2.3 误差模块

误差模块用于计算重建图像与目标图像之间偏差，并反向传播用来优化重建网络和光学系统结构参数。一般多用图像质量评价指标作为误差函数。如重建图像与目标图像的L2范数（均方差MSE），或者L1范数。也可以直接使用结构相似性（Structural Similarity，SSIM）或者峰值估噪比（Peak Signal to Noise Ratio，PSNR）作为误差函数。近年来，感知图像评价指标（Perceptual Loss）也被用来作为误差函数，其通常是取VGG网络中某几层输出的特征来计算重建图像与目标图像的接近程度。对抗网络也常用来评估重建图像与目标图像的偏差，例如我们在2021年在复杂镜头端到端设计中就使用了全局和局部对抗网络[22］，如图5。通常选择前述多个的加权组合做为误差函数。

3.1 大景深成像

传统成像镜头的景深与收集光的能力相互制约，计算成像可以打破这种制约，通过设计一个具备随深度近似不变的PSF的光学系统，然后应用深度平移不变的反卷积重建全深度清晰的图像。虽然研究者们对于这个PSF应该是什么样的做了很多研究，但脱离了后端图像处理算法的任何设计总是不尽如人意。2018年，我们使用端到端设计架构分别实现了基于单个自由曲面透镜和衍射光学元件的大景深成像系统，在该方法下，不同深度的PSF到底要设计成什么样可由图像处理算法以不同深度的成像质量为优化目标直接优化得到。仿真性能表明使用端到端协同设计的光学系统与最经典的三次相位板的景深延拓方法提升了6 dB[5］。使用端到端协同设计，不仅成功避免了传统反卷积离面极容易出现的振铃现象，更显著提升了噪声鲁棒性。2021年，我们使用新发展的基于可微分射线追踪的成像模型框架，在3片透镜的系统中也实现了类似的效果[22］，如图6。

3.2 超分辨成像

通常成像系统的分辨率由探测器像元大小和光学系统焦距共同决定。为了提升分辨率，要么增加光学系统焦距，要么更换像素单元更小、像元规模更高的探测器，但两种方法都会带来巨大硬件成本。以当前超快光学里面用的单光子雪崩二极管（SPAD）相机为例，目前其像素规模只有数十万量级，远低于当前CMOS相机，迫切需要研究提升其分辨率的方式。而且SPAD相机通常填充率很低，这通常会带来显著的空间频率混叠，从而使得该问题比传统意义上的图像超分辨更加复杂。2019年，我们采取了端到端设计理念，将光学系统、欠采样探测器、超分辨算法作为一个整体进行考虑，通过设计一个光学相位板对图像进行滤波，在抑制欠采样探测器导致混频的同时尽可能地为后续超分辨网络提供更多的信息，成功地实现了4倍超分辨成像[9］。图7为端到端设计的相位板实现SPAD相机4倍超分辨率成像仿真实验表明，采用端到端设计的光学相位板提供的滤波器相比于之前通常用的高斯滤波器在空间分辨率上有显著提升，见图7（a）中的图像。而实际成像实验也验证了基于端到端优化的相位板获得了明显的分辨率提升，见图7（b）。

3.3 快照式光谱成像

快照式光谱因为具备快速响应的优点，是当前光谱成像系统研究的热点方向，但传统的快照式光谱成像系统通常需要很多光学元件，如色散光学元件、光强编码元件、中继镜头和成像镜头，导致快照式光谱成像系统体积都很大。衍射光学元件等新型微结构器件可以实现光谱编码与成像一体化，而且具备轻薄化的特点，可极大的缩减系统体积，但是如何在考虑衍射光学元件实际光谱调控能力的情况下设计光谱编码是难点。我们基于端到端设计理念，协同设计衍射光学元件的光学编码与后续深度学习图像重建算法，实现了单片衍射光学元件的快照式光谱成像系统[8］，如图8。我们将衍射光学元件设计成可对光谱有各向异性响应，这样可以使得在PSF的大小保持不变时，其形状随着波长的变化快速旋转。由于没有了色散元件和光学编码元件，光谱重建的不确定度也显著增加，通过使用基于模型的重建算法专门用于反卷积的光谱图像重建，仿真和实验均表明这种基于衍射元件的快照式光谱成像可以获得与多数快照式光谱成像系统相当的光谱分辨率和空间分辨率。

3.4 基于平面微纳透镜的宽谱成像

基于人工微结构材料的微纳光学器件因其平面化、可调能力强等优势，有望颠覆传统复杂光学系统，实现轻薄化、小型化成像系统，目前已成为现在学术界和产业界关注的热点方向之一。但是微纳光学元件，如衍射光学元件（Diffractive Optical Element，DOE）[26-28］、超 表 面[29-33］等 都 存在极强的内在色差，这严重制约了其在实际宽谱段如彩色成像中的应用。近年来，研究者发现可以通过逆向设计实现消色差微纳光学元件，其原理是将微纳结构的色差转移到波长无关的残留像差，然后再通过后续图像处理算法对波长无关的残留像差进行校正。长期以来，研究者们采取的也都是顺序设计模式，如前面所述，这种模式从计算成像的角度并非最优。我们通过应用端到端设计框架来解决这一问题[6］。如图9所示，采用端到端设计的方式，其图像质量相比顺序设计模式在峰值信噪比（Peak Signal-to-noise Ratio，PSNR）、结构相似性（Structural Similarity，SSIM）和光谱角制图（Spectual Angular Mapper，SAM）分别比提升了1.3 dB、0.015和0.01，这表明端到端设计的消色差平面微纳透镜具有更好的宽谱段成像性能。而且通过端到端设计，我们研究发现，对于计算成像的消色差成像，其设计目标是使得所有波长在高频处的光学传递函数（OTF）都尽可能一致且尽可能高。

3.5 基于平面微纳透镜的大视场成像

对于一个成像系统，其核心指标包括F数、视场、焦距等，从目前的发展趋势来看，成像系统的F数越来越小，视场越来越大。为了实现这一需求，势必需要增加系统的复杂度和长度。但人们一直在思考是否有方法能够打破这一限制。结合计算成像的成像系统设计为这一方案提供了可能，但受制于设计理念，以前单镜片的成像视场通常只有10°到20°。我们针对大视场的需求，参考大景深成像采用的深度不变点扩散函数设计目标，设计了具有视场近似不变的点扩散函数，并针对性的设计了图像重构网络，最终实现了视场53°，F数1.8，焦距43 mm的单镜片成像系统[7］。2021年，我们针对原始算法在暗区表现不佳的问题，又发展了场景相关的图像恢复算法，使得全视场的成像质量又有所提升[34］。早期我们的端到端设计模型只用于徬轴近似条件，在2021年我们发展的基于可微分射线追踪成像模型打破了徬轴近似的限制，结合端到端设计架构实现了2个镜片的大视场成像。该系统与我们前期没有采用端到端设计的镜头相比，获得了更好的全视场成像质量，特别是在虚假目标抑制方面，大视场成像效果与对比见图10[22］。

计算成像本质上是联合光学硬件与图像处理算法来协同实现新功能、高性能的成像技术。光学系统与图像处理算法端到端协同设计为各环节深入协同提供了基础，它打破了传统的成像系统中光学、传感器、图像后处理算法以及显示处理等环节之间的壁垒，降低每个环节对经验的依赖，目标是为诸多场景提供傻瓜化的全新解决方案。目前光学成像系统的发展趋势正朝着轻小型化和高成像质量方向发展，例如消费电子和消费光子学要求成像系统的F数小、视场大，又要求成像系统重量轻、体积小。光学系统与图像处理算法端到端协同设计提高了这类光学系统设计的可能性，目前在平面透镜的宽谱成像、平面透镜的大视场成像、大景深成像，超分辨成像，快照式光谱成像方面取得了不错的进展。我们正在推进该技术在红外光电对抗领域的应用。

端到端设计架构在单镜片以及复杂镜片设计中都进行了有益的尝试并取得了不错的结果，如可微复合透镜光学模型，不仅克服了单一光学表面和单一材料的限制，而且支持优化离轴区域。但这种基于可微分射线追踪成像目前还是过于复杂，在优化复杂镜头时难以收敛，如何在保证精度的情况下对其进行降维是未来的研究方向之一，比如是否可以使用深度学习来进行透镜PSF的模拟，即只要给定结构参数，可快速通过一个网络计算出其所对应的各视场的点扩散函数。此外计算成像系统应用推进所面临的的计算资源需求过大问题也亟需解决，如何将前端光学系统、探测器采样、后端算法甚至后端算法可用硬件资源一起协同也是重要的研究方向。

另外，未来的光学成像系统要想真正实现轻薄化，不仅需要在设计方法上有突破，还需要在新材料上有突破，目前超表面这种小于波长的超薄人工结构是最有可能突破现有光学系统设计瓶颈的材料。虽然超表面有很大潜力，但其内在更大的自由度和自身固有的结构色散导致目前的成像质量和传统折射型光学系统还存在一定的差距。美国普林斯顿大学Heide等人使用端到端架构设计超表面实现拥有全色覆盖、宽视场成像的超表面相机[10］。在未来，端到端架构和超表面这种具有强大调控能力的人工材料相结合可能会碰撞出新的火花，实现更加强大的光学成像功能。

猜你喜欢 视场透镜图像处理 引力透镜发明与创新(2022年28期)2022-11-22一种晶圆自动光学检测系统的混合路径规划算法现代电子技术(2022年18期)2022-09-17大视场日盲紫外告警系统研究航天返回与遥感(2022年3期)2022-07-07海战场侦察图像处理技术图谱及应用展望网络安全与数据管理(2022年2期)2022-05-23透镜（部级优课）江苏科技报·E教中国(2022年5期)2022-05-11人工智能辅助冠状动脉CTA图像处理和诊断的研究进展现代临床医学(2022年2期)2022-04-19基于ARM嵌入式的关于图像处理的交通信号灯识别电子制作(2019年15期)2019-08-27基于图像处理的废有色金属自动分选算法研究电子制作(2019年15期)2019-08-27提高多相机视场组合精度的调节措施科学与财富(2018年28期)2018-11-16蔡司胜利航空知识(2017年4期)2017-06-30 相关热词搜索：协同，图像处理，及其应用，