ECCV22low-levelSimple Baselines for Image Restoration

Authors: Liangyu Chen*, Xiaojie Chu*, Xiangyu Zhang, and Jian Sun (MEGVII, China)
Link: [2204.04676] Simple Baselines for Image Restoration (arxiv.org)
Code: github.com/megvii-research/NAFNet

向孙剑老师致敬！

1 Intro

现在的SOTA模型都太复杂了，将他们分成两种复杂：inter-block complexity和intra-block complexity。

inter-block complexity：宏观上不同block之间互相连接，不同尺寸的feature进行交互；

intra-block complexity：block内的设计过于复杂

Motivation

能否用简单的模型达到SOTA结果？

解析了SOTA模型，提取出了最基本的单元组成PlainNet；

提出的Baseline在denoising和deblurring上达到了SOTA；

分析了Baseline，发现许多结构可以被化简或移除，由此提出了一个不含非线性激活函数的网络NAFNet。虽然被简化了，但是效果提高了。

2 Realated Works

Image Restoration

当前Image Restoration任务大部分SOTA模型都是基于UNet结构。

Inter-block Complexity

宏观网络结果，许多是多阶段网络，course to fine；

单阶段的网络要么在不同尺寸的feature map之间连接，要么在intra-block很复杂

Intra-block Complexity

微观结构，各种各样的魔改Attention，以及Gated Linear Units和Depth Conv的应用，使得block内的结构很臃肿。

3 Bulid A Simple Baseline

从0构建一个以简单为主的baseline，从现在的SOTA模型中汲取灵感，只使用了简单的component进行模型搭建：LayerNorm，Convolution，GELE，Channel Attention（CA），却以很小的计算复杂度超过了之前的SOTA，取名Baseline。

3.1 Architecture

为了减小inter-block complexity，使用单阶段的UNet架构。

3.2 A Plain Block

先从最常见的component中挑选，使用convolution、ReLU、short cut进行堆叠，称为PlainNet。

使用CNN而不是Transformer是因为：

1、尽管Transformer在CV中的效果很好，但是一些工作也证明这不是好效果的必须；

2、depth-conv比self-attention简单；

3、本文不是来讨论CNN和Transformer谁好，只是提供一个简单的baseline

3.3 Normalization

SOTA方法中都是用的LayerNorm，故我们推断LayerNorm对结果很重要，所以添加了LayerNorm至PlainNet。

这一改动使得训练更加平滑，即使Learning Rate增大了10倍。

0.44 dB (39.29 dB to 39.73 dB) on SIDD；

3.39 dB (28.51 dB to 31.90 dB) on GoPro。

总结，添加LayerNorm因为它能使训练更加稳定。

3.4 Activation

目前有使用GELU取代ReLU的趋势，故也使用GELU。

39.73 dB to 39.71 dB on SIDD

31.90 dB to 32.11 dB on GoPro

总结，使用GELU代替ReLU，因为它能提高指标。

3.5 Attention

对于Attention的讨论是Transformer模型不可避免的。原始self-attention计算复杂度高，难以用于low-level场景。

故寻多模型遵循Swin，使用window-based attention，本文不使用这种，因为局部信息可以被Depth-Conv捕获。

还有模型（Restormer）使用channel-wise attention降低复杂度，同时还能保留global infomation。

故由此启发，SENet中的channel attention（CA）满足计算效率和保留全局信息这两个要求，且之前已有工作证明CA在image restoration中的有效性，故选择加入CA只PlainNet。

0.14 dB (39.71 dB to 39.85 dB) on SIDD,

0.24 dB (32.11 dB to 32.35 dB) on GoPro.

总结，添加Channel Attention（CA）

4 Nonlinear Activation Free Network

Baseline model已经简单且有效，能不能保持简单的同时再提高性能呢？

将GELU换为SimpleGate，CA换为SCA，变简单的同时效果提高了，且完全取消了非线性层，故取名Nonlinear Activation Free Network (NAFNet)

从SOTA模型的相同点中寻找思路，发现Gated Linear Units（GLU）被使用。

4.1 Gated Linear Units（GLU）

GLU可以被表示为

$f$ 和 $g$ 是线性变换，$\sigma$是非线性激活函数，如sigmoid。

将GLU直接加入baseline能增加性能，但同时增加了计算量，这不是我们所期望的。

重新观察GELU：

从GLU和GELU的形式上可以发现，GELU是一种特殊的GLU，也就是 $f$ 和 $g$ 是identity function，将 $\sigma$ 换为 $\phi$ 。

还发现即使去除 $\sigma$ ，即

也包含非线性。

基于此，提出GLU变体SimpleGate，将feature map在通道维度分成两份，然后进行相乘：

通过将GELU变为SimpleGate，

Denoising 0.08 dB (39.85 dB to 39.93 dB) on SIDD;

Deblurring 0.41 dB (32.35 dB to 32.76 dB) on GoPro.

4.2 Simplified Channel Attention

Channel Attention（CA）的

可以表示为：

如果将CA表示成函数，发现形式很像GLU，于是可以沿用该思路进行简化：

为了保留CA最重要的两个作用：整合全局信息和进行通道间的交互，提出Simplified Channel Attention（SCA）：

将CA变为SCA，虽然简单了，但是效果更好了。

Denoising 0.03 dB (39.93 dB to 39.96 dB) on SIDD;

Deblurring 0.09 dB (32.76 dB to 32.85 dB) on GoPro.

5 Experiments

TASKS:

RGB image denoising

image deblurring

raw image denoising

image deblurring with JPEG artifacts

5.1 Ablations

Inference时使用了TLC，比较了TLC与”Test by patches“，还用了skip-init去稳定训练。

5.1.1 From PlainNet to the simple baseline

5.1.2 From the simple baseline to NAFNet

5.1.3 Number of blocks

36 blocks default for performance/latency balance

5.1.4 Variants of $\sigma$ in SimpleGate

5.2 Applications

5.2.1 RGB Image Denoising

SIDD dataset SOTA

5.2.2 Image Deblurring

GoPro dataset SOTA

5.2.3 Raw Image Denoising

4Scenes

5.2.4 Image Deblurring with JPEG artifacts

REDS datasets

这篇好文章是转载于：学新通技术网