基于邻域窗口滤波的图像去雾

来源:用户上传      作者:李锋 张朝霖

　　摘  要： 户外摄影成像质量常常受雾霾等能见度低的天气影响，为了提高雾天的成像质量，提出了一种基于邻域窗口滤波——NWF（Neighborhood Window Filtering）的图像去雾算法。在大气散射模型下使用暗原色统计先验，大气透射率和暗通道有关，直接使用暗通道估计出的大气透射率结果粗糙，还原的图像边缘有光晕看起来不够真实。针对这一问题设计了一种简单高效的邻域窗口滤波器从八个邻域方向上计算切尾均值自适应选择出最佳的方向来提取精细的大气透射率图，该方法不仅能平滑尘雾浓度图，又能从根本上保留纹理信息。结合大气散射模型使用具有更多纹理边缘信息的的透射率图，最后可以还原出一幅更加真实的去雾图片。实验结果表明，该方法相比于传统的导向滤波及双边滤波的去雾方法更加简单，效果明显。
　　关键词： 去雾;邻域窗口滤波;切尾均值;暗通道;大气散射模型
　　中图分类号： TP391.41    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2020.10.028
　　本文著录格式：李锋，张朝霖. 基于邻域窗口滤波的图像去雾[J]. 软件，2020，41（10）：114119
　　【Abstract】： The quality of outdoor photography imaging is often affected by weather with low visibility such as haze. In order to improve the imaging quality of foggy days， this paper proposes an image defogging algorithm based on Neighborhood Window Filtering （NWF）. This method is based on the atmospheric scattering model and the dark channel prior technique， and uses a neighborhood window filter with smooth texture preservation function to restore high-quality pictures. The feature of edge-preserving filtering using the domain window filter can extract more transmittance maps with texture edge information from the dark channel prior model. Combined with the physical model of atmospheric scattering， it can finally restore a high-quality defogging picture. The experimental results show that the method is simpler and more effective than traditional guided filtering and bilateral filtering defogging methods， and the effect is obvious.
　　【Key words】： Defogging; Neighborhood window filtering; Trimmed mean; Dark channel; Atmospheric Scattering model
　　0  引言
　　當空气中存在着许多悬浮物如尘埃、烟、水雾等时无论是人肉眼观察还是拍摄获取的图像，总是存在能见度和对比度下降的问题。这种降质退化的图像对我们后续的监控、识别、跟踪等实际应用场景带来了困难，因此对雾天成像去雾算法的研究是十分有意义和实用价值的。
　　针对雾天图像存在严重降质的现象，1999年，Srinivasa G. Narasimhan[1]等人通过建立数学模型，解释了雾天图像的成像过程以及雾天图像包括的各个要素。2009年何凯明等人[2]提出一种新的先验统计理论——暗通道先验，使用该方法估计大气的透射率和大气光强值，实现降质图像的除雾。2010年何凯明等人[3]等人提出一种基于导向滤波器的去雾算法精细了透射率图，使还原的图像更加真实，2014年王一帆[4]等人基于双边滤波的图像去雾，提高去雾的实时性。2017年陈高科[5]等人提出结合透射率和大气光改进的暗原色先验去雾算法。2017年董宇飞[6]等人提出基于导向图优化的单幅图像深度去雾算法。2019年刘万军[7]等人提出融合GF-MSRCR和暗通道先验的图像去雾算法。
　　1  算法设计
　　1.1  大气散射模型
　　大气散射模型中指出引起探测系统成像结果降质的主要原因有两种：一是目标反射光受大气中悬浮粒子的吸收和散射作用，造成目标反射光能量的衰减，导致探测系统的成像结果亮度降低，对比度下降;二是太阳光等环境光受大气中散射介质的散射作用形成背景光，通常这部分背景光强度大于目标光，因而造成探测系统的成像结果模糊不清，图1直观的展示雾天的成像模型。
　　公式1中是带有衰减的实际拍摄的图像，是理想条件下拍摄的图像，是大气的投射率，对应的是衰减后的图像，A是大气光辐射强度，是表示大气的散射强度。
　　1.2  暗原色先验原理
　　对于没有雾的图片在绝大多数非天空的局部区域里，某些像素总会有至少一个颜色通道具有很低的值。其对于任意的输入图像J，其暗通道可以用下式表达 　　公式2中表示彩色图像的每个通道，表示以像素x为中心的一个窗口。首先求出每个像素RGB分量中的最小值，存入一副和原始图像大小相同的灰度图中，然后再对这幅灰度图进行最小值滤波。
　　就是大气透射率的预估值。
　　从暗通道图中按照亮度的大小取前0.1%的像素在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值
　　1.3  基于邻域窗口滤波的去雾算法
　　在基于暗通道先验原理直接估计的大气透射率结果比较粗糙，还原的图像边缘有光晕图像看起来也不够真实，针对这一问题需要使用具有平 滑功能又具备保留边缘增强纹理信息[8]的滤波器来提取精细的大气透射率图，但是常见的图像滤波器大多数是各向同性滤波（例如简单平滑或高斯平滑）而言，它们对待噪声和边缘信息都采取一致的态度。结果，噪声被滤除的同时，图像中具有重要地位的边缘、纹理和细节也同时被抹平了。这是因为滤波器使用了全窗口回归，把窗的中心位置放在待处理像素的位置。即便是用非线性各向异性加权，仍然无法杜绝沿着图像边缘的扩散，只是沿着边缘的扩散比较大，而沿着法线的扩散还是比较小，也是扩散，这是传统方法不保边的本质原因。
　　如图2所示，全窗口回归方式以c为中心窗口落在平缓的区域，效果会比较好，但是如图3窗口落在阶跃跳变区域上a、b两点会对本不属于自己平面的值进行计算，造成真实平面的滤波偏差。
　　以图3阶跃跳变边缘[9]建模分析，使用表示强度值，该图所示的函数是连续的，但不可微。因为强度在各个位置不一样，我们令“a–”和“a+”分别表示a点的左极限和右极限，其中有图可知存在边缘跳跃所以，这两个区域的泰勒展开是不同的：
　　因此，任何位置“a–”的近似值必须来自a点的左侧区域，而位置“a+”的近似值都必须自a点的右区域。
　　所以如果一个像素点处于图像中的边缘位置，那么滤波的时候就应该把滤波器的边缘和该像素点对齐，而不是像传统的全窗口滤波器那样，这样可以使用半窗口滤波[10]，把滤波器的中心和该像素点对齐在除去噪声的同时，也会将图像中具有重要地位的边缘、纹理和细节也被一同消除了。
　　为了解决这种滤波偏差常见的解决办法是使用具有保边滤波的算法如双边滤波器[11]或者导向滤波器[12]，但是这两中算法比较复杂。
　　本文在侧窗口滤波[13]的基础上使用消除干扰的切尾均值寻找邻域最佳方向，使用最佳窗口滤波来去除带质图片。该方法使用非全窗口回归的半窗口回归，即选取与中心像素点接近的邻域进行滤波操作。
　　如图4中，以像素点c为中心半径为r的八个与之相邻的区域（上、下、左、右、左上、左下、右上、右下方向），计算这个八个区域的切尾均值去除噪点的干扰，并与中心点c计算欧式距离。在相同平面的，八邻域的切尾平均数和原始值距离代表中心点与八邻域的相似程度，若不在一个平面则和中心点相差比较大。选取差值最小的方向做为最佳方向，并取该方向上的窗口进行平滑滤波。
　　（1）邻域窗口滤波算法步骤：
　　计算目标像素点八邻域上的切尾均值可以更好的消除除噪点干扰，是窗口大小为的八邻域里的像素点
　　（2）基于邻域窗口滤波去雾具体步骤如下
　　① 首先对输入带雾图像进行邻域窗口滤波实现平滑和纹理信息加强。邻域域滤波函数
　　② 由邻域滤波公式可得滤波后的，由式（7）提出暗通道则
　　③ 在暗通道中统计出前0.1%亮度最高的像素点，然后在由带雾图像I中寻找出暗通道里面统计出的最高亮度点所对应的像素的极小值作为大气光A
　　④ 通过式（9）和式（17）可得粗估大气透射率
　　⑤ 再将粗估透射率图再进行一次邻域滤波得到平滑且边界加强的精细估计的透射率
　　⑥ 最后由式10还原出去雾的图片
　　2  实验结果和分析
　　在對带雾图像I进行邻域滤波器时，八邻域窗口为3*3大小。实验平台使用的时Intel i5 1.8 GHz 8GB RAM windows10电脑，实验软件环境使用的时python3.7和opencv3。
　　2.1  去雾效果分析
　　实验采用常用的去雾效果测试图片，图片来源He[2]、He[3]使用的是640*480大小的图片，如图5-8所示，。复原对比He算法[3]、基于双边滤波的图像去雾算法[4]，实验参数设置如表1所示。
　　2.1.1  去雾效果评估标准
　　为了更加客观的评估不同算法的去雾效果，可以从图像的纹理、图像的信息含量、图像的对比度三个方向上去衡量[14]，继而引入图像的信息熵、图像的标准差和图像的平均梯度去定量分析对比。
　　（1）图像信息熵，图像所含信息量多少的一种评估量，数字越大表示信息含量越大反之越小。其数学公式如下
　　（2）图像标准差，可以反映图片的对比度的量，
　　数字越大表示图片对比度越好。其数学公式如下
　　（3）图像的平均梯度，表示图像的纹理细节清晰
　　程度，数字越大表明图片纹理细节越清晰。其数学公式如下
　　2.1.2  去雾视觉效果对比
　　图9列出带雾原图Cones、Pumpkin、Aerial及Houses在不同去雾算法处理后的视觉效果图。
　　2.1.3  客观数据分析
　　图10列出了列出带雾原图Cones、Pumpkin、Aerial及Houses在不同去雾算法处理后的直方图统计信息。
　　图10中我们可以清晰的看出原图的三个通道的信息量是最丰富的也说明存在雾霾导致其像素范围比较广，而在三种算法的过滤下的去雾图像中直方图统计的数据中均有体现出与带雾霾图片直方图统计数据有明显的信息丢失，这也反映出三种算法的数据过滤和数据保留效果。但是单纯对比三种算法去雾后的直方图数据是很难定量的对比出算法去雾效果的。但是我们可以简单的从这三种算法的直方图中看出在图Cones中三种算法去雾后的直方图形状基本相同，而在后三张图片中每个算法去雾后的直方图表现较大的差异。 　　为了更加客观的对这三种算法进行评估，表2列出了不同算法处理后的图片的标准差、平均梯度、信息熵的信息对比。
　　表2中我们可以通过对比三种算法去雾后的标准差、平均梯度及信息熵来评估每种算法的性能，在表中可以得出三种算法在信息熵这一项中和原图对比有所减少，这反映出图像信息在减少，体现出算法降质去雾的本质，而三种算法在平均梯度这一评估标准上与原图的平均梯度值相比有所增加，这反应出三种算法在降质的同时保留及加强纹理细节的特点，但是在标准差中三种算法表现出不同情况，图Pumpkin是带有天空的图片文献[3]算法处理效果要好于后两个算法。图片平均梯度最小的Aerial中文献[4]算法处理效果要好于其他两个也体现出双边滤波是从空间及色彩两个维度上考虑的。当带雾原图平均梯度较大时即
　　纹理细节较为丰富时如图Cones和图House本文算法处理后的效果要好于文献[3-4]，在纹理细节越强的图片中本文算法去雾后的效果越好，这也体现出邻域窗口保留纹理滤波效果强的特点。
　　图11单独对比三种算法作用于平均梯度最大的House图片上的透射率图及效果图。
　　在图11中可以清晰对比出三种算法在图House上的去雾效果，红框单独放大局部区域的透射率图，可以清晰对比出三种算法在相同区域透射率图纹理细节的不同。
　　为了更加客观的比较三种算法的透射率图，表3中列出了不同算法处理后的投射率图的标准差及平均梯度，这两个评估标准可以客观的代表图像的对比度及图像的纹理细节，可以从表中发现三个算法在平均梯度这一项中很接近，三种算法有具有保边滤波的功能，三种算法能使的透射率图的纹理信息得到保留加强，但本文算法在平均梯度略好于前两个算法，在滤波及加强纹理细节后也使得透射率图的对比度也加强了。
　　3  结语
　　通过分析基于暗通道先验的去雾算发需要精细化透射率图来提高去雾效果，常见的经典去雾算法常使用导向滤波及双边滤波，但是这两种算较为复杂，本文从精细化透射率图的角度上，提出一种新的滤波算法，该算法只需要对八个邻域进行切尾均值滤波选出最佳滤波方向即可。从实验结果分析本文算法具有较强的保留纹理及滤波的效果，特别是在纹理细节较为丰富的图片上其去雾效果更佳。本文算法原理简单，实验效果明显。
　　参考文献
　　[1]S. K. Nayar and S. G. Narasimhan， “Vision in bad weather， ” in IEEE Int’l Conf. Computer Vision， 1999.
　　[2]He K， Sun J， Tang X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence， 2010， 33（12）： 2341-2353.
　　[3]He K， Sun J， Tang X. Guided image filtering[C]//European conference on computer vision. Springer， Berlin， Heidelberg， 2010： 1-14.
　　[4]王一帆， 尹傳历， 黄义明， 等. 基于双边滤波的图像去雾[J]. 中国图象图形学报， 2014（3）： 58-64.
　　[5]陈高科， 杨燕， 张宝山. 结合透射率和大气光改进的暗原色先验去雾算法[J]. 计算机应用， 2017（5）.
　　[6]董宇飞， 杨燕， 曹碧婷. 基于导向图优化的单幅图像深度去雾算法 [J]. 计算机应用， 2017（1）： 268-272， 277共6页.
　　[7]刘万军， 白宛司， 曲海成， et al. 融合GF-MSRCR和暗通道先验的图像去雾[J]. 中国图象图形学报， 2019（11）： 1893- 1905.
　　[8]Gong Y， Sbalzarini I F. Curvature filters efficiently reduce certain variational energies[J]. IEEE Transactions on Image Processing， 2017， 26（4）： 1786-1798.
　　[9]Koschan A， Abidi M. Detection and classification of edges in color images[J]. IEEE Signal Processing Magazine， 2005， 22（1）： 64-73.
　　[10]Gong Y， Liu B， Hou X， et al. Sub-window box filter[C]// 2018 IEEE Visual Communications and Image Processing （VCIP）. IEEE， 2018： 1-4.
　　[11]Tomasi C， Manduchi R. Bilateral filtering for gray and color images[C]//Sixth international conference on computer vision （IEEE Cat. No. 98CH36271）. IEEE， 1998： 839-846.
　　[12]Kaiming He， Jian Sun， Xiaoou Tang. Guided Image Filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2013， 35（6）： 1397-1409.
　　[13]Yin H， Gong Y， Qiu G. Side window filtering[C]// Proceed ings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019： 8758-8766.
　　[14]李佳童， 章毓晋. 图像去雾算法的改进和主客观性能评价[J]. 光学精密工程， 2017（3）.
转载注明来源:https://www.xzbu.com/8/view-15375405.htm