多阶段渐进式图像恢复 | 去雨、去噪、去模糊 | 有效教程（附源码） / 开普饭

🥇 版权: 本文由【墨理学AI】原创、在CSDN首发

文章目录

🔴 去模糊测试
🔵 去雨测试
🟣 去噪测试

🟧 预训练模型
🟨 设置测试数据

🔴 Abstract
🔵 The main contributions
🟣 论文实验数据集
🟡 Conclusion

📔 基础信息
📕 环境搭建
📗 预训练模型和测试数据
📘 测试
📙 博文运行代码+模型+测试数据分享
🚀🚀 文末专栏推荐 🚀🚀
❤️ 人生苦短，欢迎和墨理一起学AI 💜

📔 基础信息

一篇应用于【去模糊、去雨、去噪】的多阶段渐进式图像恢复论文

Multi-Stage Progressive Image Restoration (CVPR 2021)
多阶段渐进式图像恢复
https://arxiv.org/abs/2102.02808
https://github.com/swz30/MPRNet

🔴 Abstract

图像恢复任务需要在恢复图像时在空间细节和高级上下文信息之间实现复杂的平衡。在本文中，我们提出了一种新颖的协同设计，可以最佳地平衡这些相互竞争的目标。我们的主要提议是一个多阶段架构，它逐步学习退化输入的恢复函数，从而将整个恢复过程分解为更易于管理的步骤。具体来说，我们的模型首先使用编码器-解码器架构学习上下文特征，然后将它们与保留本地信息的高分辨率分支相结合。在每个阶段，我们引入了一种新颖的每像素自适应设计，利用原位监督注意力来重新加权局部特征。这种多阶段架构的一个关键要素是不同阶段之间的信息交换。为此，我们提出了一种双向方法，其中信息不仅从早期到后期按顺序交换，而且特征处理块之间也存在横向连接以避免任何信息丢失。由此产生的紧密互连的多阶段架构称为 MPRNet，在包括图像去雨、去模糊和去噪在内的一系列任务中，在十个数据集上提供了强大的性能提升。

🔵 The main contributions

一种新颖的多阶段方法，能够生成上下文丰富且空间准确的输出；由于其多阶段性质，我们的框架将具有挑战性的图像恢复任务分解为子任务，以逐步恢复退化的图像
一个有效的监督注意力模块，它在进一步传播之前在每个阶段充分利用恢复的图像来细化传入的特征
跨阶段聚合多尺度特征的策略
我们通过在 10 个合成和真实世界数据集上为各种恢复任务（包括图像去雨、去模糊和去噪）取得的优异效果来证明我们的 MPRNet 的有效性，同时保持低复杂度（见图 1）。此外，我们提供详细的消融、定性结果和泛化测试。

🟣 论文实验数据集

Image Deblurring 【去模糊数据集】

GoPro [53] dataset – 下载主页
主页详情如下

Image Deraining 【去雨数据集】

Rain14000 [23] Rain1800 [81] Rain800 [90] 【训练】
Rain100H [81], Rain100L [81], Test100 [90], Test2800 [23], and Test1200 [89] 【测试】

Image Denoising 【去噪】

🟡 Conclusion

在这项工作中，我们提出了一种多阶段的图像恢复体系架构，通过在每个阶段注入监督来逐步改善退化的输入。我们为我们的设计制定指导原则，要求在多个阶段进行互补的特征处理，并在它们之间进行灵活的信息交换。为此，我们提出 contextually-enriched and spatially accurate stages ，对一组不同的特征进行统一编码。为了确保交互阶段之间的协同作用，我们提出了跨阶段的特征融合和从早期阶段到后期阶段的注意力引导输出交换。我们的模型在众多基准数据集上取得了显著的性能提升。此外，我们的模型在模型大小方面重量轻，在运行时方面效率高，这对于资源有限的设备来说非常有意义。

📕 环境搭建

服务器：ubuntu1~18.04 Quadro RTX 5000 16G
CUDA版本 V10.0.130

基础环境搭建如下

conda create -n torch11 python=3.7.5

conda activate torch11

pip install torch==1.1.0

pip install torchvision==0.3.0## 或者（建议使用 conda 来安装）conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch## 或者(根据你的 Cuda 版本来决定安装命令)conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch

pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

Install warmup scheduler 【必须步骤】

conda activate torch11git clone https://github.com/swz30/MPRNet.gitcd MPRNet-maincd pytorch-gradual-warmup-lr/

python setup.py install

输出如下

running installrunning bdist_egg
running egg_info......

Installed /home/zql/anaconda3/envs/torch11/lib/python3.6/site-packages/warmup_scheduler-0.3-py3.6.egg
Processing dependencies for warmup-scheduler==0.3Finished processing dependencies for warmup-scheduler==0.3

📗 预训练模型和测试数据

🟧 预训练模型

🟨 设置测试数据

去模糊：这里暂时使用 GOPRO_Large\test\GOPR0384_11_00 作为测试数据，放置在
samples/ 目录下

去雨：Rain100H/

去模糊：高斯噪声和脉冲噪声图像各一张，放置在 samples/noise/ 目录下

博文使用的测试数据集，设置如下

📘 测试

🔴 去模糊测试

python demo.py --task Deblurring --input_dir ./samples/GOPR0384_11_00/blur --result_dir ./samples/output/

输出如下

# GPU 占用 10209MiBFiles saved at ./samples/output/

输入输出对比效果

该去模糊图像和数据集中该测试图像对应的清晰图片对比【可见去模糊效果还不错】

🔵 去雨测试

cmd

python demo.py --task Deraining --input_dir ./samples/Rain100H/input/ --result_dir ./samples/Rain100H/output/

输出如下

# GPU 占用 1461MiBFiles saved at ./samples/Rain100H/output/

输入输出对比效果

🟣 去噪测试

python demo.py --task Denoising --input_dir ./samples/noise/ --result_dir ./samples/denoise

输出如下

# GPU 占用 2087MiBFiles saved at ./samples/denoise

去噪声效果如下

多阶段渐进式图像恢复 | 去雨、去噪、去模糊 | 有效教程（附源码）

文章目录

📔 基础信息

🔴 Abstract

🔵 The main contributions

🟣 论文实验数据集

🟡 Conclusion

📕 环境搭建

📗 预训练模型和测试数据

🟧 预训练模型

🟨 设置测试数据

📘 测试

🔴 去模糊测试

🔵 去雨测试

🟣 去噪测试

相关推荐