位置：艺考-四川本科院校-电子科技大学-微高校-院校号-电子科大本科招生-点赞！光电学院本科生在信息融合权威期刊Information Fusion发表论文

点赞！光电学院本科生在信息融合权威期刊Information Fusion发表论文

电子科大本科招生

2021-10-20 10:14:22 文/李清雅图/杜晓阳

光电学院2018级本科生金诚跟随数学科学学院邓良剑特聘研究员进行的大学生创新创业训练计划项目《基于图神经网络的卫星遥感影像融合问题研究》成果显著。近日，在邓良剑老师的指导下，金诚作为第一作者、邓良剑特聘研究员为通讯作者的题为“Laplacian Pyramid Networks: A New Approach for Multispectral Pansharpening”的遥感图像全色锐化研究论文，在信息融合领域权威期刊Information Fusion（中科院大类一区，TOP期刊, 影响因子12.97）发表。

在遥感卫星成像系统中，卫星传感器可获取同一幅地面场景的两幅不同图像，即多光谱图像和全色图像。多光谱图像相较于全色图空间分辨率较低，但光谱波段较多；而全色图像为单波段图像，但具有较高的空间分辨率。遥感图像全色锐化（Pansharpening）问题的主要目的是将全色图像与多光谱图像融合，进而获得高分辨率的多光谱图像（见图1）。

图1. 全色锐化（Pansharpening）示意图（数据来源：WorldView3卫星数据）

近年来，基于卷积神经网络（CNN）的全色锐化方法取得了优异效果。然而，现有基于CNN的方法仍存在改进空间。第一，现有CNN方法对图像的多尺度特性（multi-scale property）不能做到充分利用。第二，即便有的工作涉及到对图像多尺度信息的运用（如传统拉普拉斯金字塔分解），但这些工作大部分采用统一的卷积核对图像进行下采样以获得图像多尺度细节信息，这不符合全色锐化的实际物理过程，也会降低神经网络的性能。

图2. 传统拉普拉斯金字塔分解示意图，采用了固定的高斯核进行卷积操作

针对上述问题，研究者考虑到改进传统图像处理的多尺度方法——拉普拉斯金字塔分解（LPD），即将输入图像分解为不同尺度的特征图像以获得图像的多尺度细节信息，从而以更好的方式描绘全局和局部信息（详见图2）。但与传统LPD不同的是，本文利用卫星成像传感器的调制传递函数（MTF）去生成卷积核，从而更加适应特殊的全色锐化问题。同时，作者利用这种提出的基于MTF的拉普拉斯金字塔分解得到的多尺度空间来设计端到端的深度学习网络结构。并在金字塔结构的每一层设计相应的子网络去提取不同尺度上的图像信息，最后将得到的不同尺度的特征图像进行上采样进而融合在一起，得到最终的输出图像。为了降低网络的参数量，在各层子网络之间采用递归块参数共享策略（详见图3）。

图3. 论文提出的LPPN网络示意图

该研究改进了传统图像处理的拉普拉斯金字塔分解，其优势在于：（1）改进后的方法利用了特定卫星成像传感器的光学调制传递函数（MTF）生成的卷积核进行图像拉普莱斯金字塔多尺度分解，对真实数据效果更佳；（2）基于（1）中的分解，该工作设计了多尺度的结构化子网络，提高了在特征提取阶段管理不同空间细节的能力；（3）建立了多个损失函数来描述每个尺度的信息损失；并采用递归块的参数共享策略应用于每个结构化子网络，有效减少网络参数的数量。实验结果表明所提方法在只有5万左右网络参数量的情况下（远低于其它全色锐化方法数十万的参数量），在WorldView-3、QuickBird与高分2号卫星数据上获得了当前最优的量化指标（详见表1），消融实验结果表明，MTF卷积核与多尺度损失函数策略的使用可充分利用图像的多尺度信息（详见表2）。在视觉效果上，该方法获得的结果较其它方法最为接近参考图像（见图4）。