成为VIP
图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题，在医疗图像分析、生物特征识别、视频监控与安全等实际场景中有着广泛的应用。随着深度学习技术的发展，基于深度学习的图像超分方法在多个测试任务上，取得了目前最优的性能和效果。本篇综述给出了一个统一的深度学习视角，来回顾最近的超分技术进展，主要包括三个方面:
给出了综合性的基于深度学习的图像超分技术综述，包括问题设置、数据集、性能度量、一组基于深度学习的图像超分方法集合，特定领域的图像超分方法应用等等。为最近基于深度学习的图像超分算法提供了系统性、结构化的视角，并总结了高效图像超分解决方案中的优势与劣势。讨论了这个领域的挑战与开放问题，并总结了最近的新趋势与未来的发展方向。
2、最新进展
2.1 超分网络的升采样结构
根据升采样（upsampling）在网络结构中的位置和使用方式双三次插值，可以把超分网络结构设计分为四大类：前端升采样（pre-upsampling）超分网络、后端（post-upsampling）升采样超分网络、渐进式升采样（progressive upsampling）超分网络、升降采样迭代式（iterativeup-and-down sampling）超分网络。
2.2 可学习的升采样方法
2.3 全局和局部网络结构设计
2.4 损失函数设计
2.5 批归一化
批归一化（BatchNormalization，BN）层在很多视觉任务中被验证有效，但是在最近关于超分中使用BN层存在一些争议，部分研究者指出使用BN层会丢失图像的尺度信息和网络参数的自由范围变化双三次插值，导致超分效果下降。
2.6 课程学习
课程学习（curriculumlearning）从简单的子任务开始逐渐增加难度，因为图像超分问题存在很多困难情形，如大的超分倍增系数，噪声，模糊等，这种从易到难的策略可以起到很大帮助。例如，可以将8x的超分问题分解成三个子问题，1x到2x，2x到4x，4x到8x，为每个子问题单独学习一个网络。
2.7 多级监督
多级监督（multi-supervision）为网络的学习增加多个额外的监督信号，可以有效减轻梯度消失和爆炸问题，例如在递归式结构中就可以使用多级监督策略，对每一级递归产生的结果进行监督，通常多级监督的表现形式是在损失函数里添加了若干相关项。
2.8 其他网络设计和学习策略
2.9 无监督图像超分辨率
监督学习的图像超分辨率，基本上是学习了人为设计的图像降质过程的逆过程，需要LR-HR的图像对（image pairs），与实际场景中的图像超分问题不太符合。实际中的超分问题，只有不成对（unpaired）的低分辨率和高分辨图像可以用来进行训练。无监督的图像超分辨率也受到越来越多关注。
考虑到图像自身内容就可以为超分提供统计信息，因此，可以不用在大数据集上训练一个普适超分模型，而是在测试阶段训练一个专有图像的超分网络，比如可以使用核估计（kernel estimation）的方法在单张测试图像中估计降质过程，但是这类方法每张图像测试时都需要学习一个网络，非常耗时。
近来弱监督学习的图像超分主要有两类方法，一类是学习HR到LR的降质过程，一类是同时学习LR到HR，HR到LR这种往复的映射（cycle-in-cycle）关系。
深度图像先验（DeepImage Prior）目前主要是使用随机初始化的CNN作为手工设计的先验去进行超分。
2.10 超分在专有领域的应用
目前图像在专有领域的超分，主要有深度图像超分、人脸图像超分、高光谱图像超分、视频图像超分、检测分割中的小物体超分等。
3、发展趋势
下面从超分网络结构设计、学习策略、评价指标、无监督学习、实际场景等几个方面，来阐述一下图像超分领域的发展趋势。
3.1 网络结构设计
3.2 学习策略
3.3 评价指标
3.4 无监督的图像超分
3.5 实际场景中的图像超分
References
[1] DeepLearning for Image Super-resolution: A Survey. arXiv:1902.06068
点击下方图片，了解课程详情
人脸分析
限时特惠：本站每日持续更新海量设计资源，一年会员只需29.9元，全站资源免费下载
站长微信：ziyuanshu688
htebazile
