何恺明技惊四座的首篇经典之作:暗通道先验去雾到底是在解决一个什么问题? 2024-08-07 08:34:12 MLNLP(机器学习算法与自然语言处理)是国内外最大的自然语言处理社区之一,汇聚超过50w订阅者,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步。作者丨Smarter来源丨SmarterDark Channel Prior 图像去雾任务的目标是把一张雾图转变成一张无雾图和一张深度图。 Haze Imaging Model 一张雾图可以表示成haze imaging model:其中I是hazy image,J是scene radiance,A是atmospheric light,t是传递系数。可以理解为I是雾图,J是无雾图,A是空气光图,这样子看就跟image matting公式非常类似(无雾图是背景,空气光图是前景)。其中深度图可以通过公式 得到。 Dark Channel Prior kaiming he通过大量无雾图片统计发现了dark channel prior—在无雾图的局部区域中,3个通道的最小亮度值非常小接近于0(不包括天空区域)。先通过min(r, g, b),得到单通道图片,然后通过最小滤波器得到dark channel图片。和haze imaging model相对应,可以把dark channel图片写成:dark channel prior的统计规律表明,无雾图的dark channel应该是一个近似于全黑的图片,也就是无雾图的 。可以对haze imaging model进行等价变换,如上图所示。由dark channel prior规律对t进行近似。A可以通过图片10%最亮区域得到近似值。也就是A已知,可以求解出t。直接计算得到的t图片是粗糙的,没有办法细致的对雾进行区分。上面也说到,haze imaging model公式和matting model公式非常类似,而image matting一种常用的做法是,输入图片和trimap图片(包含三部分区域: 白色前景、黑色背景和灰色未知),用封闭式抠图算法得到alpha matting。仿照image matting的方式,图像去雾也可以通过输入图片和transmission图片(类似trimap图片),得到refined transmission(类似alpha matting)。image matting通常用马尔科夫随机场(MRF)来得到alpha matting,于是haze removal也可以通过MRF公式来得到优化后的transmission,公式如下:其中L是matting拉普拉斯矩阵, 是优化前的transmission,t是优化后的transmission。通过拉格朗日乘子法可以得到linear system:linear system一般可以通过Conjugate Gradients方法计算得到。何恺明后续提出了Large-Kernel和Guided Filter两种方法对linear system计算进行加速。通过上述的推导计算,A、I和t都已知,那么可以通过haze imaging model还原出去雾图片J。Dark Channel Prior整体算法流程如下: Efficient Solutions to Refinement 何恺明后续提出Large-Kernel和Guided Filter两种方法对linear system计算进行加速。 A Large-Kernel-Based Linear Solver 上面得到的linear system公式:linear system一般可以通过Conjugate Gradients(CG)方法计算得到,算法如下:CG是迭代计算的方法,计算复杂度由step4决定(矩阵运算),假设kernel size为r,总的像素点数为N,那么step4的复杂度为 ,需要迭代 轮,总的计算复杂度为 。Large-Kernel发现通过推导,step4可以只需要 复杂度,总的计算复杂度为 算法如下:实际上,(4.13)和(4.14)中的所有运算都是滑动窗口的均值、方差或协方差,可以通过box filter统一计算得到,跟kernel size的大小无关。实验结果可以看出,large kernel对去雾质量影响不大,但是能够极大的加快算法速度。 Guided Image Filtering kaiming he发现t和 具有类似的强度,但是t和I的边缘保持一致。也就是说, 可以经过一个滤波过程转换成t,类似于保边滤波的效果。linear system公式可以转化成:这实际上是一个位置敏感的滤波过程:是 的加权平均值,其中权重Wij完全由图像I决定。也就是说图像I通过调整权值来“引导”滤波过程,确保t的边缘与I一致。通过上述观察,kaiming he提出了一种新颖的guided filter来替代soft matting step,不需要求解linear system。并且进一步提出了一种跟kernel size r无关的O(N)算法,使得滤波器具有实时性。Guided image filtering是结合两幅图片信息的过程,一个filtering input image(表示为p)和一个guide image(表示为I)生成一个filtering output image(表示为q)。p决定了q的颜色,亮度,和色调,I决定了q的边缘。对于图像去雾来说,transmission就是p,雾图就是I,refined transmission就是q。假设q是图像I中以像素点k为中心的窗口w_k的线性变换:由于一个像素点会由多个窗口计算得到,一个简单的做法是对相关的窗口计算求平均:通过推导,guided filter只需要O(N)复杂度就能得到q,算法如下:guided filter直接计算得到q,不需要迭代求解linear system。实验结果可以看出,guided filter效果很好,比起large kernel速度更快。 总结 dark channel prior通过暗通道先验对haze imaging model进行化简,近似计算得到粗糙的transmission,然后将haze imaging model和matting model联系起来,巧妙的将图像去雾问题转化为抠图问题,得到refined transmission,精彩!large-kernel在CG算法的基础上通过公式推导,避免了kernel size对计算复杂度的影响,从而加快了linear system的计算速度;而guided filter则通过公式转换,和滤波联系起来,提出新颖的guided filter,巧妙的避开了linear system的计算过程,极大加快了transmission优化的速度。不得不说kaiming he的科研嗅觉太敏锐了,做haze removal可以联想到和matting的关系,并且发现了dark channel prior,然后通过扎实的数理功底,找出soft matting速度优化的可能性,并且通过filter的启发,找出O(N)解法,简直太神了!Referencekaiminghe.com/publications/thesis.pdfuntitled (kaiminghe.com)kaiminghe.com/cvpr09/cvpr09slides.pdfkaiminghe.com/publications/cvpr10matting.pdfkaiminghe.com/publications/pami12guidedfilter.pdfeccv10ppt.pdf (kaiminghe.com)iterative.pdf (huji.ac.il)关于我们 MLNLP(机器学习算法与自然语言处理) 是由国内外自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外最大的自然语言处理社区之一,汇聚超过50w订阅者,旗下包括万人顶会交流群、AI臻选汇、AI英才汇以及AI学术汇等知名品牌,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。 赞 (0) 相关推荐 纯正英语小灶第九期 || 想和外国小伙伴描述这两天的雾霾惨状不知道怎么说?你需要这篇推送来补补…… 这两天真是"黑云压城城欲摧".雾霾席卷了大半个中国,不管是一直以来的重灾区还是曾经幸免于难的地方都受到了一次雾霾的强袭. 如果你遇见你的歪国小伙伴的时候想和TA说说这几天中国的雾霾 ... [视频] 雾霾到底怎么说: fog,haze还是 smog? ✏️笔记:1)fog:雾2)haze:雾霾3)smog:烟雾(smoke+fog)4)ozone:臭氧 “雾霾”的英语到底是 fog、smog 还是 haze? 文章里我指出"雾霾"的英语是 smog,这当然没有问题啦,但有不少人评论里提出用"haze"可以不可以?我一开始是直接否决的,因为在我的印象中,haze 指一种 ... “雾霾”的英语是“haze”、“fog”还是“smog”呢? 入冬以后, 蓝天白云渐行渐远, 北京及大部分北方城市又陷入了四面"霾"伏. 这期我们就来聊聊"雾霾"相关的英语. 这里我们需要辨析的有五个词: Mist, Fo ... “雾霾”英语究竟是 haze、fog、还是 smog? 搞清楚了没? [Python图像识别] 四十六.图像预处理之图像去雾详解(ACE算法和暗通道先验去雾算法) 该系列文章是讲解Python OpenCV图像处理知识,前期主要讲解图像入门.OpenCV基础用法,中期讲解图像处理的各种算法,包括图像锐化算子.图像增强技术.图像分割等,后期结合深度学习研究图像识别 ... 央视主播任鲁豫嗓音超赞,一首《卷珠帘》技惊四座! 展开 哈登晃倒约翰逊!厉害了我的哥,哈登更是命中一记技惊四座的三分 说到詹姆斯·哈登职业生涯中最辉煌的时刻,那无疑是哈登在2017-2018赛季与火箭队对阵快船的客场比赛中击败约翰逊.北京时间3月2日,据<克里夫兰老实人报>消息,哈登此前对阵快船一战晃倒韦 ... 龚派老旦第一唱!吕昕《钓金龟》《四郎探母》,技惊四座! 蓝色字体有你想看的,你懂滴! 达格列净治疗IgA肾病,结果新鲜出炉!技惊四座 想必IgA肾友们看到标题就已经开始偷着乐了. 达格列净治疗慢性肾脏病 今天我们继续将目光锁定到具有划时代意义的「DAPA-CKD试验」,中文名叫达格列净治疗慢性肾脏病患者试验,是新型降糖药达格列净申请 ... 孙铭徽劈扣技惊四座 与琼斯冲突被放倒 手感冰凉的广厦男篮在上半场仅仅投出22%的命中率陷入落后,不过他们在第三节打出40-26的攻势完成逆转,并在末节顶住对手反攻将优势保持到了终场.最终凭借全队五人得分上双的表现,广厦男篮以105-88击 ... 出彩中国人:江苏男四技惊四座,出战至今包揽所有金牌,太骄傲! 出彩中国人:江苏男四技惊四座,出战至今包揽所有金牌,太骄傲! 老北京都有哪些“打工族”:服务员报菜名能技惊四座 老北京饭馆里的跑堂 旧时的北京,作为六朝古都,其悠久的历史和良好的文化氛围,吸引了大量的文人墨客.人才的聚集自然带来了大量的"就业机会",因此,当时的北京城,也吸引了大量的&qu ... 国家京剧院 龚派老旦 第一唱,技惊四座! 国家京剧院 龚派老旦 第一唱,技惊四座!