An Effective and Comprehensive Image SuperResolution Algorithm Combined Witha Novel Convolutional

admin管理员组

文章数量:1130349

2021 IEEE access

一种结合卷积神经网络和小波变换的图像超分辨率算法

摘要

本文提出了一种结合深度学习和小波变换(ISRDW)的图像超分辨率算法。

在网络上设计方面，采用交叉连接和剩余学习方法来降低训练模型的难度。在损失函数方面，本文利用原始图像空间域和小波域产生的损失来加强网络训练的约束。

一、介绍

基于卷积神经网络的方法跟传统方法相比有了很大的突破，但是仍存在一些问题，现有的SR方法的训练过程大多依赖于空域中逐像素均方误差，使网络输出尽可能接近HR图像，但这种方法容易产生模糊和过于平滑的输出，缺乏细节信息。而且，只适用于较小且特定的比例因子(如x2或x4)。

小波变换已被证明是一种有效的特征提取算法；（哪里证明的？）

它常用于再现和存储多分辨率图像。如图1所示，它可以在不同级别上表示图像的上下文信息和纹理信息。空间小波系数本身是稀疏的，可以使网络学习更容易。

• Chen等人提出了一种小波变换与卷积神经网络(CWT-CNN)相结合的方法。
  这种方法缺点是使用四个卷积神经网络串联工作，增加了时间复杂度，效果也不是很好。此外，没有给出在×4和×8两个尺度上的结果。
• DWSR通过小波变换将重建的HR图像变换成一系列相关的HR图像小波系数。
  该方法与目前最优的very deep超分辨率网络(VDSR)算法具有相同的精度，计算简单、速度快。

本文所提出的方法在第二种方法的基础上进行了改进。

①在输入方面，为了减少计算量，直接将LR图像作为网络的输入。

②在网络结构方面，设计的框架分为三个部分：feature extraction network（特征提取网络）、inference network（推理网络）和inference network（重构网络）。

为了更好地捕捉上下文信息并对缺失的细节进行推断，特征提取网络采用了连接残差块的方法，同时将每个残差块的输出连接为推理网络的输入。

③小波系数的个数(即网络最终输出的信道数)不再是一个固定值，而是会随着尺度的变化而变化。

④在损失函数方面，考虑了小波系数之间的残差损失以及最终小波反变换后的SR图像与HR图像之间的残差损失，从而进行双重约束。

主要贡献

①在小波域提出了一种“deep image”的超分辨率算法，以改善图像重建的细节。

②本文的方法采用了多步策略，即先推导出高分辨率图像对应的小波系数，然后对图像进行重构。

③结合空间域和小波域的损失函数来学习深度神经网络的参数。

④在不同数据集上的实验验证了该方法的有效性。

二、现有的基于CNN的SR

现有算法按技术手段可分为两类：基于重构的方法和基于学习的方法

①基于图像重建的SR方法通常需要对LR图像序列进行亚像素对齐，以获得HR图像之间的运动偏移，从而在观测模型中构造空间运动参数，并应用不同的约束条件求解HR图像。

②基于图像学习的SR方法利用先验知识，通过给定的样本训练，获得LR和HR图像之间的映射关系，重建HR图像。

第②类方法包括三个步骤：训练集构建、特征学习和高频细节重构。训练集构建通过对HR图像进行下采样等退化操作，得到相应的LR图像；特征学习学习LR和HR图像之间的映射关系；高频细节重建可以根据学习到的映射关系从图像中恢复出图像。

主要有三种不同的角度来解决SR问题：

1、 设计不同的网络架构来重建高分辨率的图像。

2、 使用感知损失模型和GAN生成模型来生成更真实、更清晰的图像。

3、考虑在变换域的情况下处理问题。

DWSR

是第一种利用深度卷积神经网络在小波域中结合低频和高频信息子带之间的互补信息的方法。

该方法将HR图像的重构问题转化为一系列推断的小波变换系数，从而使得到的图像边缘具有较少的伪影。

该方法使用的网络由一系列大小相同的卷积层直接连接，层与层之间缺乏信息融合，并且没有尺度和小波分解序列之间的对应关系，所有经过最终网络训练后的维数结果都尽可能接近HR图像与MR（middle resolution）图像层级小波分解系数之间的残差。

 三、本文方法

A 小波变换

图1为二维小波变换的结果。可以看出，如果将变换后的第一个小波图像表示为LR图像，那么其他小波图像就是我们想要获得的缺失细节。因此，本文将小波变换引入SISR问题中。

该方法的重点是强调小波变换对超分辨率重构问题的有效性。因此，选择最简单的HAAR小波可以满足实现对不同频带信息描述的要求。当然，也可以使用其他小波。利用HAAR小波变换作为卷积神经网络的训练目标，将HR图像变换成一系列相同大小的小波图像。如图2所示，higher-level变换是低通滤波、高通滤波和下采样的循环运算。

 B 网络架构

整个网络的学习属于多个阶段：

第一阶段：推理网络输出的一系列小波图像；

第二阶段：根据第一阶段的结果进行小波逆变换得到最终的超分辨率图像（SR）；

第三阶段：将小波系数的损失和图像空间像素的损失以梯度的形式传回整个网络进行更新。

其中黄色区域为特征提取网络，绿色区域为推理网络，橙色区域为重构网络。另外，红色部分是网络训练时的损失计算。

特征提取网络从低分辨率图像中提取特征，推理网络将提取的特征表示为一系列HR图像与对应的MR图像小波系数的差，重建网络使用逆小波重构SR图像。

（1） 特征提取网络

以LR图像为输入，通过前向传播将其表示为一系列特征图。

高分辨率图像块作为标签，采用双三次核插值法进行二次下采样得到低分辨率图像块，作为网络的输入。

由几个级联的残差块组成。残差块由两个具有相同核大小和滤波器个数的卷积块组成，其输出由输入和两个连续卷积块后的结果之和组成。每个残差块作为一个单元，每个单元的输出传递给下一个单元，同时交叉作为推理网络的输入。

所有卷积层kernel size=3 × 3，stride和padding都设置为1。同时，为了获得更多和更丰富的信息，卷积层filter的数量随着网络的加深而增加。

（2）推理网络

推理网络以特征提取网络的输出为输入，使用1×1卷积来降低特征维度。为了保证推断小波图像与LR图像大小一致，将卷积核的大小设置为3×3，步长和边缘填充设置为1。

由于小波分解系数高度独立，不考虑通道之间的关系。

不同尺度网络的最终输出通道数为尺度因子的平方，每个通道代表对应的小波图像。

如图3所示，网络的最终输出与MR图像的小波分解系数相加，然后通过逆小波变换转换到原始图像空间。

MR图像是由LR图像双三次插值得到的。

就像典型的残差网络一样，所提出的模型也旨在学习残差输出。由于不同尺度的小波变换图像大小不同，对应网络输出的通道数也不同，需要学习多个网络。但是，在不同尺度的图像训练中，只有最后一个卷积层的参数设置不同，其他卷积层共享不同尺度的权重。因此，只有一个尺度的网络可以从头开始训练，其他尺度的网络可以在训练好的模型上进行微调。

（3）重建网络

重构网络是将【推理网络的输出】和【LR图像上采样、小波变换后的LR结果】相加作为输入。

通过小波逆变换，将一系列小波图像生成相应的SR图像，得到最终结果。

基于中间结果(一系列小波系数)和最终的SR图像，提出了一个由小波系数损失和图像空间像素损失两部分组成。总损失函数定义为：

 1、小波系数损失

将输入LR图像设为x，对应的HR图像设为y，通过双三次插值从输入LR中得到的MR图像为yb。θ是待优化的网络参数。

我们提出的网络结构学习小波变换后低分辨率输入x和高分辨率图像y的系数之间的关系，网络输出尽可能接近小波分解后对应的高分辨率图像的系数。

缩放因子定义为r，r>=2；小波变换级数定义为m，变换后的小波系数个数定义为WN，它们之间的映射关系定义为m = log r，WN = r^2。

小波分解后的图像 y 和 yb 的系数分别表示为：

分解后它们的系数之差（即残差）可以计算为：

 

式(2)的结果就是神经网络的学习目标，即。

均方误差

 

n是batch的大小，i代表batch图像中的第i个图像，j是小波系数序列中的第j个系数。

2、图像空间损失

该神经网络结构能够学习小波变换后MR图像与HR图像系数之间的差异。对输出结果进行小波逆变换得到学习后的残差图像：

得到残差图像后，将残差图像与原输入图像经双三次插值后采样得到的MR图像yb相加得到最终的超分辨率图像ISR：

考虑到之前对图像空间的损失计算，为了达到纹理和平滑的平衡，在小波系数损失的基础上增加原始图像空间的损失，计算出图像空间的残差损失：

 四、训练设置

在训练中，以HR图像对应的小波系数作为训练标准，通过与尺度系数的映射关系得到小波分解顺序。然后，根据每次迭代的结果，使用公式(1)计算损失。

为了证明损失函数的优越性，本文对不同的损失函数进行了一系列的对比实验。

表2分别用小波系数损失函数、图像空间损失函数和组合损失函数(尺度系数为x4，数据集为SET 5和SET 14)进行训练后的结果。

• 证明了两者组合策略的可行性和有效性。

对比实验

 三个最好的结果以粗体、下划线和阴影显示。

• 本文提出的方法在结果上没有超过EDSR。原因是本文提出的方法只使用了6个残差，而EDSR使用了32个残差。
• 本文方法训练速度和运行速度更快，对硬件的要求较低。除去EDSR，与其他方法相比，本文方法在×4和×8两个尺度上的实验结果最优。

 视觉效果对比

如图4和图7所示，本文方法生成的图像线不仅没有变形，而且更加清晰、锐利。

如图5所示，本文方法得到的结果很好地保留了字母的边缘信息，在视觉上看起来更完整、更规范。 

图6可以看出，本文的结果很好地保留了两桥孔洞之间的石缝。

如图8所示，本文的结果更清晰地还原了斑马上的线。

图9中，本文方法的结果是对人行道上的白线进行了直线清晰的复原，边缘更加尖锐。

• 总的来说，本文所采用的方法在保留细节方面优于除EDSR外的其他方法，无论比例系数为x4还是x8，使边缘更清晰、更锐利，重建效果更好。

和SRGAN相比

对于对抗网络生成的SR图像，从PSNR和SSIM角度来看，效果并不好。但是从图10所示的视觉效果来看，重建的SR图像更加逼真和锐化。

对于对抗网络生成的SR图像，从PSNR和SSIM角度来看，效果并不好。但是从图10所示的视觉效果来看，重建的SR图像更加逼真和锐化。然而，如图11所示，当放大细节时，生成的SRGAN图像有更多的伪像，从而产生很多奇怪的图案。 

 

从结果可以看出，当为x4和x8时，本文网络的效果会有很大的提高。它也适用于小尺度的x2倍数。

通过分析小波变换的特点，可以发现随着比例因子的增加，小波变换的leval也在提高，图像的细节信息得到了进一步的细化，图像的细节缺失可以通过网络更好地推断，从而达到更好的效果。实验结果进一步表明，小波分解方法更适用于尺度较大的情况。同时，考虑到尺度因子与最终输出小波系数个数之间的映射关系，本文的方法只能处理具体的尺度因子2n，不能处理一般方法中使用的x3的情况。

五、总结

提出了一种结合深度学习和小波变换的图像超分辨率算法。

该方法采用多阶段学习策略。首先推断高分辨率图像的小波系数，然后重建超分辨率图像。

使用残差网络。

通过结合图像空间域和小波域的损失函数进行优化。

2021 IEEE access

一种结合卷积神经网络和小波变换的图像超分辨率算法

摘要

本文提出了一种结合深度学习和小波变换(ISRDW)的图像超分辨率算法。

在网络上设计方面，采用交叉连接和剩余学习方法来降低训练模型的难度。在损失函数方面，本文利用原始图像空间域和小波域产生的损失来加强网络训练的约束。

一、介绍

基于卷积神经网络的方法跟传统方法相比有了很大的突破，但是仍存在一些问题，现有的SR方法的训练过程大多依赖于空域中逐像素均方误差，使网络输出尽可能接近HR图像，但这种方法容易产生模糊和过于平滑的输出，缺乏细节信息。而且，只适用于较小且特定的比例因子(如x2或x4)。

小波变换已被证明是一种有效的特征提取算法；（哪里证明的？）

它常用于再现和存储多分辨率图像。如图1所示，它可以在不同级别上表示图像的上下文信息和纹理信息。空间小波系数本身是稀疏的，可以使网络学习更容易。

• Chen等人提出了一种小波变换与卷积神经网络(CWT-CNN)相结合的方法。
  这种方法缺点是使用四个卷积神经网络串联工作，增加了时间复杂度，效果也不是很好。此外，没有给出在×4和×8两个尺度上的结果。
• DWSR通过小波变换将重建的HR图像变换成一系列相关的HR图像小波系数。
  该方法与目前最优的very deep超分辨率网络(VDSR)算法具有相同的精度，计算简单、速度快。

本文所提出的方法在第二种方法的基础上进行了改进。

①在输入方面，为了减少计算量，直接将LR图像作为网络的输入。

②在网络结构方面，设计的框架分为三个部分：feature extraction network（特征提取网络）、inference network（推理网络）和inference network（重构网络）。

为了更好地捕捉上下文信息并对缺失的细节进行推断，特征提取网络采用了连接残差块的方法，同时将每个残差块的输出连接为推理网络的输入。

③小波系数的个数(即网络最终输出的信道数)不再是一个固定值，而是会随着尺度的变化而变化。

④在损失函数方面，考虑了小波系数之间的残差损失以及最终小波反变换后的SR图像与HR图像之间的残差损失，从而进行双重约束。

主要贡献

①在小波域提出了一种“deep image”的超分辨率算法，以改善图像重建的细节。

②本文的方法采用了多步策略，即先推导出高分辨率图像对应的小波系数，然后对图像进行重构。

③结合空间域和小波域的损失函数来学习深度神经网络的参数。

④在不同数据集上的实验验证了该方法的有效性。

二、现有的基于CNN的SR

现有算法按技术手段可分为两类：基于重构的方法和基于学习的方法

①基于图像重建的SR方法通常需要对LR图像序列进行亚像素对齐，以获得HR图像之间的运动偏移，从而在观测模型中构造空间运动参数，并应用不同的约束条件求解HR图像。

②基于图像学习的SR方法利用先验知识，通过给定的样本训练，获得LR和HR图像之间的映射关系，重建HR图像。

第②类方法包括三个步骤：训练集构建、特征学习和高频细节重构。训练集构建通过对HR图像进行下采样等退化操作，得到相应的LR图像；特征学习学习LR和HR图像之间的映射关系；高频细节重建可以根据学习到的映射关系从图像中恢复出图像。

主要有三种不同的角度来解决SR问题：

1、 设计不同的网络架构来重建高分辨率的图像。

2、 使用感知损失模型和GAN生成模型来生成更真实、更清晰的图像。

3、考虑在变换域的情况下处理问题。

DWSR

是第一种利用深度卷积神经网络在小波域中结合低频和高频信息子带之间的互补信息的方法。

该方法将HR图像的重构问题转化为一系列推断的小波变换系数，从而使得到的图像边缘具有较少的伪影。

该方法使用的网络由一系列大小相同的卷积层直接连接，层与层之间缺乏信息融合，并且没有尺度和小波分解序列之间的对应关系，所有经过最终网络训练后的维数结果都尽可能接近HR图像与MR（middle resolution）图像层级小波分解系数之间的残差。

 三、本文方法

A 小波变换

图1为二维小波变换的结果。可以看出，如果将变换后的第一个小波图像表示为LR图像，那么其他小波图像就是我们想要获得的缺失细节。因此，本文将小波变换引入SISR问题中。

该方法的重点是强调小波变换对超分辨率重构问题的有效性。因此，选择最简单的HAAR小波可以满足实现对不同频带信息描述的要求。当然，也可以使用其他小波。利用HAAR小波变换作为卷积神经网络的训练目标，将HR图像变换成一系列相同大小的小波图像。如图2所示，higher-level变换是低通滤波、高通滤波和下采样的循环运算。

 B 网络架构

整个网络的学习属于多个阶段：

第一阶段：推理网络输出的一系列小波图像；

第二阶段：根据第一阶段的结果进行小波逆变换得到最终的超分辨率图像（SR）；

第三阶段：将小波系数的损失和图像空间像素的损失以梯度的形式传回整个网络进行更新。

其中黄色区域为特征提取网络，绿色区域为推理网络，橙色区域为重构网络。另外，红色部分是网络训练时的损失计算。

特征提取网络从低分辨率图像中提取特征，推理网络将提取的特征表示为一系列HR图像与对应的MR图像小波系数的差，重建网络使用逆小波重构SR图像。

（1） 特征提取网络

以LR图像为输入，通过前向传播将其表示为一系列特征图。

高分辨率图像块作为标签，采用双三次核插值法进行二次下采样得到低分辨率图像块，作为网络的输入。

由几个级联的残差块组成。残差块由两个具有相同核大小和滤波器个数的卷积块组成，其输出由输入和两个连续卷积块后的结果之和组成。每个残差块作为一个单元，每个单元的输出传递给下一个单元，同时交叉作为推理网络的输入。

所有卷积层kernel size=3 × 3，stride和padding都设置为1。同时，为了获得更多和更丰富的信息，卷积层filter的数量随着网络的加深而增加。

（2）推理网络

推理网络以特征提取网络的输出为输入，使用1×1卷积来降低特征维度。为了保证推断小波图像与LR图像大小一致，将卷积核的大小设置为3×3，步长和边缘填充设置为1。

由于小波分解系数高度独立，不考虑通道之间的关系。

不同尺度网络的最终输出通道数为尺度因子的平方，每个通道代表对应的小波图像。

如图3所示，网络的最终输出与MR图像的小波分解系数相加，然后通过逆小波变换转换到原始图像空间。

MR图像是由LR图像双三次插值得到的。

就像典型的残差网络一样，所提出的模型也旨在学习残差输出。由于不同尺度的小波变换图像大小不同，对应网络输出的通道数也不同，需要学习多个网络。但是，在不同尺度的图像训练中，只有最后一个卷积层的参数设置不同，其他卷积层共享不同尺度的权重。因此，只有一个尺度的网络可以从头开始训练，其他尺度的网络可以在训练好的模型上进行微调。

（3）重建网络

重构网络是将【推理网络的输出】和【LR图像上采样、小波变换后的LR结果】相加作为输入。

通过小波逆变换，将一系列小波图像生成相应的SR图像，得到最终结果。

基于中间结果(一系列小波系数)和最终的SR图像，提出了一个由小波系数损失和图像空间像素损失两部分组成。总损失函数定义为：

 1、小波系数损失

将输入LR图像设为x，对应的HR图像设为y，通过双三次插值从输入LR中得到的MR图像为yb。θ是待优化的网络参数。

我们提出的网络结构学习小波变换后低分辨率输入x和高分辨率图像y的系数之间的关系，网络输出尽可能接近小波分解后对应的高分辨率图像的系数。

缩放因子定义为r，r>=2；小波变换级数定义为m，变换后的小波系数个数定义为WN，它们之间的映射关系定义为m = log r，WN = r^2。

小波分解后的图像 y 和 yb 的系数分别表示为：

分解后它们的系数之差（即残差）可以计算为：

 

式(2)的结果就是神经网络的学习目标，即。

均方误差

 

n是batch的大小，i代表batch图像中的第i个图像，j是小波系数序列中的第j个系数。

2、图像空间损失

该神经网络结构能够学习小波变换后MR图像与HR图像系数之间的差异。对输出结果进行小波逆变换得到学习后的残差图像：

得到残差图像后，将残差图像与原输入图像经双三次插值后采样得到的MR图像yb相加得到最终的超分辨率图像ISR：

考虑到之前对图像空间的损失计算，为了达到纹理和平滑的平衡，在小波系数损失的基础上增加原始图像空间的损失，计算出图像空间的残差损失：

 四、训练设置

在训练中，以HR图像对应的小波系数作为训练标准，通过与尺度系数的映射关系得到小波分解顺序。然后，根据每次迭代的结果，使用公式(1)计算损失。

为了证明损失函数的优越性，本文对不同的损失函数进行了一系列的对比实验。

表2分别用小波系数损失函数、图像空间损失函数和组合损失函数(尺度系数为x4，数据集为SET 5和SET 14)进行训练后的结果。

• 证明了两者组合策略的可行性和有效性。

对比实验

 三个最好的结果以粗体、下划线和阴影显示。

• 本文提出的方法在结果上没有超过EDSR。原因是本文提出的方法只使用了6个残差，而EDSR使用了32个残差。
• 本文方法训练速度和运行速度更快，对硬件的要求较低。除去EDSR，与其他方法相比，本文方法在×4和×8两个尺度上的实验结果最优。

 视觉效果对比

如图4和图7所示，本文方法生成的图像线不仅没有变形，而且更加清晰、锐利。

如图5所示，本文方法得到的结果很好地保留了字母的边缘信息，在视觉上看起来更完整、更规范。 

图6可以看出，本文的结果很好地保留了两桥孔洞之间的石缝。

如图8所示，本文的结果更清晰地还原了斑马上的线。

图9中，本文方法的结果是对人行道上的白线进行了直线清晰的复原，边缘更加尖锐。

• 总的来说，本文所采用的方法在保留细节方面优于除EDSR外的其他方法，无论比例系数为x4还是x8，使边缘更清晰、更锐利，重建效果更好。

和SRGAN相比

对于对抗网络生成的SR图像，从PSNR和SSIM角度来看，效果并不好。但是从图10所示的视觉效果来看，重建的SR图像更加逼真和锐化。

对于对抗网络生成的SR图像，从PSNR和SSIM角度来看，效果并不好。但是从图10所示的视觉效果来看，重建的SR图像更加逼真和锐化。然而，如图11所示，当放大细节时，生成的SRGAN图像有更多的伪像，从而产生很多奇怪的图案。 

 

从结果可以看出，当为x4和x8时，本文网络的效果会有很大的提高。它也适用于小尺度的x2倍数。

通过分析小波变换的特点，可以发现随着比例因子的增加，小波变换的leval也在提高，图像的细节信息得到了进一步的细化，图像的细节缺失可以通过网络更好地推断，从而达到更好的效果。实验结果进一步表明，小波分解方法更适用于尺度较大的情况。同时，考虑到尺度因子与最终输出小波系数个数之间的映射关系，本文的方法只能处理具体的尺度因子2n，不能处理一般方法中使用的x3的情况。

五、总结

提出了一种结合深度学习和小波变换的图像超分辨率算法。

该方法采用多阶段学习策略。首先推断高分辨率图像的小波系数，然后重建超分辨率图像。

使用残差网络。

通过结合图像空间域和小波域的损失函数进行优化。

本文标签： ImageSuperResolutionEffectiveComprehensiveWitha