内容敏感的图像缩放旨在改变图像分辨率的同时保持图像中的重要内容并尽量减少产生不自然的细节。传统的图像缩放工作都是直接在图像空间上进行变换。最新一期Computational Visual Media (CVMJ) 中刊登了基于深度特征的图像缩放工作，通过对原图像的特征图进行缩放，再使用新的特征图重构出分辨率不同的图像（如图1所示）。
图1 传统的图像空间缩放（蓝色）与深度特征空间缩放（红色）示意
该工作由以色列特拉维夫大学的研究生Dov Danon，Moab Arar和Daniel Cohen-Or教授与赫兹利亚跨学科研究中心的Ariel Shamir教授合作完成，刊登于CVMJ第7卷第4期，并入选该期的亮点论文(spotlight paper)。这也是Cohen-Or教授的论文第三次入选CVMJ亮点论文。图像缩放是计算机图形学中一个经典的问题，为了适应不同大小和长宽比的显示器，图像会不可避免的被变形，人们希望这种变形缩放过程尽可能的保持图像中的重要区域，这就是内容敏感的图像缩放。比如，我们希望图像中的人不会变形，但天空、草地等，变得多点、少点是不要紧的。2007年，Ariel Shamir教授提出著名的接缝裁剪(Seam Carving)算法[2]，使得内容敏感的图像缩放成为研究热点。Seam是自上而下(或自左而右)的一条连续的像素链，其中，每行(或列)仅含一个像素。我们希望找到一条接缝，使得沿着该缝裁剪时，画面影响最小，从而图像被变窄了一行或一列。一个简单的做法就是让接缝上每个像素的相邻两个像素的差的平方和最小。
Ariel Shamir教授这个工作开启做了这个研究热点，后续有大量的研究，该论文被引用了2413次。使用预训练的VGG19神经网络可以得到图片I 的一系列不同尺度的深度特征F(I)，作者将已有的内容敏感图像缩放方法应用于特征图F(I)上。文中结合了接缝裁剪与网格变形两种方法，缩放算法中的像素重要性定义为特征向量的模长。缩放按照由粗到细的顺序进行，为了保证不同尺度特征图缩放的一致性，作者对下一层特征图的重要性进行重新加权，降低上一层已删除区域的重要性值。图3给出了采用接缝裁剪在不同特征尺度上进行删除操作的示例。
图3 (a) 使用层次化接缝裁剪保证删除区域的一致性；(b) 直接对浅层特征做接缝裁剪会破坏重要的物体
经过上述接缝裁剪得到了缩小后的特征图F’ 后，下一步通过迭代优化，重构出缩小后的图像O。给定一个线性缩放的图像作为初始值，希望优化后的图像F(O)特征尽可能地接近F’，因此作者以二者之间的距离作为优化目标，通过反向传播将深度特征上的误差传递回输出图像的像素，并使用梯度下降法更新输出图像的数值。图4给出了这一优化的完整流程和效果示例。
图4 (a) 使用缩放后的深度特征图重构图像；(b) 优化的中间结果示例
为了减少优化过程中产生的不自然现象，经上述的迭代优化后，在图像输入VGG19网络之前加入一个可学习网格采样层G，如图5所示。仍然用相同的损失函数优化该层的参数，将优化后的图像G(O)（图5左下）作为最终输出的缩放后图像。
图6展示了一张图片的优化过程。特征空间上的缩放操作会保留特征响应较高的区域，如图中的自行车。给定一个线性缩放的图像作为初始解，为了让输出图片的自行车区域特征与目标的特征图相同，图像中自行车会被逐渐拉伸，直至达到与原图相同的尺寸。
图6 (a) 输入图像；(b) 不同尺度的特征图；(c-f) 从初始值到最终输出的优化过程
