基于多层图和紧凑性的显著性检测算法

常 青, 邵 臣

(华东理工大学信息科学与工程学院,上海 200237)

摘要针对传统的自底向上的显著性检测模型突出背景、前景区域不均匀以及显著目标位于图像边缘致使检测效果差等问题,提出了一种基于多层图和紧凑性的显著性检测模型。首先,将图像过分割为超像素,在超像素基础上结合图像块层和聚类层构建多层图模型,能够有效检测不同尺度的图像并获得均匀的显著区域。然后,基于紧凑性假设建立紧凑性模型,并采用元胞自动机优化。根据超像素的紧凑性筛选出可靠的前景种子点和背景种子点,基于多层图模型利用流行排序算法分别计算基于前景种子点和背景种子点的排序分数,从目标和背景的角度结合两种排序分数得到显著图。最后,对显著图进行滤波获得光滑的前景和背景区域,得到最终显著图。在常用的数据集MSRA-1000和ECSSD上与9种流行算法进行比较,实验结果表明该算法具有较高的准确率和召回率。

关键词显著性检测; 多层图; 紧凑性; 种子扩散

中图分类号TP391.1

文献标志码:A

收稿日期2017-09-21

作者简介常 青(1975-),女,副研究员,研究方向为图像处理。E-mail:changqing@ecust.edu.cn

文章编号1006-3080(2018)05-0737-07

DOI:10.14135/j.cnki.1006-3080.20170918001

Saliency Detection Algorithm Based on Multi-layer Graph and Compactness

CHANG QingSHAO Chen

(School of Information Science and Engineering,East China University of Science and Technology,Shanghai200237,China)

Abstract:Visual salient region detection is one of the key technologies for machine vision. There have been still many problems in salient region detection, e.g., the quality of the detection results is not high, and the whole salient region cannot be highlighted effectively, etc. Moreover, the existing salient region detection algorithms cannot effectively handle the salient region appearing in the edge of image, since they are easily affected by complex background and the color or texture of the object itself. Aiming at the shortcoming that the saliency detection model is not suitable for complex background and low contrast environment and the detection effect of saliency target located at the edge of image is poor, this paper proposes a saliency detection model based on multi-layer graph and compactness. Firstly, the image is divided into super pixels and a multi-layer graph is constructed by combining the high-level information of image block layer and cluster layer, which can effectively detect different scale images and obtain uniform salient regions. And then, both foreground and background seed nodes are extracted according to the compactness assumption. The sorting scores based on foreground and background seed nodes, respectively, are calculated by means popular algorithms via multi-layer graph model. Furthermore, the above two sorting scores are combined to get the saliency map, which is further filtered to obtain the smooth foreground and background regions and the final saliency map. The proposed multi-layer graph introduces the image block layer and the clustering layer and combines the local and global information so that it can reduce the sensitivity of seeds, obtain the uniform saliency region, and effectively detect targets of different sizes. Moreover, by means of the compactness calculation model, a more reliable seed point can be extracted to obtain more accurate results. Experimental results on MSRA-1000 database and ECSSD database show that the proposed algorithm can obtain higher accuracy and recall rate than nine popular methods.

Key words:saliency detection; multi-layer graph; compactness; seed diffusion

显著性检测从20世纪80年代开始研究,现已广泛应用于图像分割[1-2]、 图像编辑[3]、图像识别[4]、目标检测[5]等领域,最早由Itti等[6]提出,目前已取得很大成就[6-25]。实际场景往往背景复杂且对比度低,是显著性检测的难点所在。

现有的检测模型依据视觉线索主要分为基于对比度[6-14]、基于紧凑性[15-17]和基于背景[18-20]3种检测模型。基于对比度的模型利用图像的底层特征依据像素和周围的对比度进行计算,对比度又分为全局和局部对比。HC算法[8](Histogram-based Contract, HC)根据颜色的差异性计算显著性。RC算法[8](Region-based Contract,RC)在HC方法基础上结合空间关系有了一定的提高,但不适用于复杂场景。文献[12]利用图像区域之间的颜色对比度计算显著性,此类方法不适用于复杂背景和前景背景相似的图像。前景一般在颜色空间上一致且分布紧凑,而背景分布在整个图像空间且差异大。文献[16]利用颜色对比度以及颜色分布性计算显著性;文献[17]利用特征在背景区域相对于显著区域具有较大传播性,提出了一个紧凑性计算框架。传统的基于对比度检测算法的本质是利用对比度差异进行检测,突出杂乱的背景点,但对复杂背景图像检测效果差。基于紧凑性的检测算法可以较好地克服上述缺点。Yang等[18-20]提出了基于背景先验的方法,采用流行排序算法计算显著性。文献[18]通过衡量各区域块和图像边界区域块的测地线距离计算显著性,但是此类算法不加区分地将图像四周的区域作为背景,对于显著目标位于图像边缘时的检测效果较差。近年来,基于图模型的检测方法较多,文献[19]采用图模型,将位于图像边界的超像素作为吸收节点,利用马尔科夫链通过计算超像素到背景的转移时间确定超像素的显著性。文献[20]以超像素为节点在图模型上构造K-正则图,该方法在复杂度和运行速度上有很好的平衡,但是超像素分割尺寸会严重影响检测结果的准确性 。

针对以上问题,本文提出了一种基于多层图和紧凑性的显著性检测算法,多层图的构建结合了多尺度信息且引入聚类层的高层信息,降低种子敏感性,有效检测局部信息和全局信息。根据紧凑性检测模型筛选出比较可靠的前景种子点和背景种子点。本文的显著检测模型不仅可以提高对复杂场景和前景背景相似图像的检测效果,而且可以有效检测位于边界的显著目标,且使得显著区域的内部保持均匀。

1 显著性检测模型

1.1 算法流程

图1 算法流程图
Fig.1 Flow chart of algorithm

本文算法的主要步骤如图1所示。首先采用SLIC (Simple Linear Iterative Cluster) 方法[23]将图像过分割为超像素,在超像素基础上构建多层图模型;然后根据超像素的紧凑性提取前景种子点和背景种子点,基于种子扩散分别计算节点和前景种子点、背景种子点的排序分数,融合两种排序分数得到显著图;最后采用引导滤波优化显著图。

1.2 构建多层图模型

基于图的显著性检测方法中图模型的构建不能有效反映节点之间的关系,因此构建多层图模型,有效结合多尺度信息,且引入了聚类层高层信息充分表示图像内部结构,降低种子敏感性。通过层间连接获得跨尺度信息,检测不同大小的目标且使得显著区域内部均匀,增强对复杂背景的鲁棒性。多层图模型G(V,E)如图2所示。节点V={VSVPVC},包括3种节点:(1)采用SLIC算法[23]得到的超像素节点VS,超像素个数设为200。超像素个数太少不能有效代表图像的区域特征,太多则会影响算法的效率。通过对多个经典算法[12,20,24]的查阅,并经实验验证取值200时检测效果较好。(2)缩小超像素个数为1/4的超像素层节点个数得到图像块层节点VP。(3)采用AP聚类算法[21]VS层节点聚类得到聚类层节点VC,AP算法不需要预设聚类数目。

图2 多层图模型
Fig.2 Multi-layer graph model

图3 超像素层不同节点连接生成的显著图比较
Fig.3 Comparison of saliency maps generated by different node connection in the SLIC-layer

图模型的边界E={ES,EP,EC,ESP,ESC},其中ESEPECESPESC分别表示连接超像素层、图像块层、聚类层、超像素层和图像块层、超像素层和聚类层节点之间的边。

节点连接方式包括层内和层间连接,不仅使相似的节点具有相近的显著性,而且通过层间连接获得跨尺度信息,得到均匀的显著区域。超像素层内节点之间连接方式为:节点和邻近节点相连、与邻近节点共享同一个边的节点相连、连接图像四周任意两个节点,减少相似节点的测地线距离。在此基础上添加一条约束,将标记为前景种子点的节点相互连接。图3为超像素层不同节点连接生成的显著图比较,其中图3(b)是未添加约束得到的显著图,图3(c)为添加约束后得到的显著图。由图3可知,添加约束的节点连接方式可以有效抑制一些非目标区域。由于图像块层和聚类层尺度粗糙,因此仅连接距离相近的节点。图像块层内节点连接方式为每个节点和相邻节点相连,聚类层内节点连接方式为连接距离最近的K个节点。在选择连接聚类层节点数时,考虑到选择的节点数既能够利用局部空间关系,同时尽可能避免不相似节点的引入,选择K=5。对于层间连接(图2黄色的连接线),图像块层节点、聚类层节点仅与其所包括的超像素层节点相连。多层图模型的边权重函数为

w(γi,γj)=

(1)

在超像素层,γiγj是对应节点的LAB[25]颜色特征,在图像块层和聚类层,γiγj是块或者类对应节点所包括的超像素的LAB特征的平均值。Y表示层间节点的权重,参照文献[22],Y设为0.1,参数ρ1设为 0.05。

1.3 基于紧凑性的种子点提取

1.3.1 紧凑性计算 首先采用SLIC方法将图像分割为超像素S={S1,S2,…,Sn},个数设为200,第i个超像素为Si,空间位置表示为Pi,然后提取超像素的特征。LAB特征[11]在视觉感知上与人类最为接近,LBP特征[25]具有旋转不变性和灰度不变性,便于处理复杂纹理,使用hlabhtex分别代表超像素的LAB和LBP特征。两个超像素之间的差异性通过计算特征之间的距离得到。定义两个超像素特征之间的距离为

dist (γi,γj)=

(2)

其中,λ1λ2分别取 0.7和 0.3。依据显著区域和背景区域的特征以及空间特性的不同,以紧凑度描述一个超像素和背景的差异。超像素i的紧凑度定义如下:

(3)

其中:D(Pi,Pj)为超像素之间的空间距离;权重ω(Si,Sj)通过计算超像素SiSj之间的相似性得到。超像素之间的空间距离定义为

(4)

特征的相似性依据高斯函数的形式计算:

(5)

其中:Ωi是归一化因子,确保由式(2)求得;由于不同图像特征之间的差异,采用自适应的ρ2ρ2=0.5max(dist(γi,γj))。为了进一步抑制背景区域,采用紧凑度的加权定义超像素的紧凑性:

(6)

由于边缘先验在显著性检测[18-19,22]中发挥重要作用,因此将边缘先验融入到本文模型中。设KT,KDKLKR分别表示上、下、左、右4个边的超像素集合,{T,D,L,R}代表上、下、左、右4个边缘,超像素Si和边缘n,n∈{T,D,L,R} 的非相似性定义为

(7)

则超像素Si的显著性定义如下:

(8)

得到基于紧凑性的显著图,定义为

Scom(i)=φ(i)WB(Si)

(9)

最后采用元胞自动机[26]优化,获得更加纯净的背景。图4示出了使用基于对比度的方法失效的情况,其中图4(a)为输入图像,图4(b)和图4(c)分别为采用传统对比度方法CA(Context Aware)[27]和HC得到的结果,图4(d)为使用紧凑性模型计算的显著图,可以有效检测复杂背景和低对比度的显著目标。

图4 基于对比度和紧凑性的显著图比较
Fig.4 Comparison of saliency maps based on contrast and compactness

1.3.2 种子点提取 由于不同显著图的显著值变化范围广,得到超像素的紧凑性显著值之后,选择显著值大于紧凑性平均显著值μ倍的超像素作为前景种子点,μ为规模因子,本文选择μ=2,尽可能避免背景种子点的引入。由于边界的超像素可能包括部分显著目标,而显著目标的紧凑显著值偏高,所以剔除紧凑显著值大于紧凑显著图平均值的边界超像素,余下的边界超像素作为背景种子点。因为图像块层和聚类层尺度粗糙,可能同时包括显著区域和背景区域,而超像素层尺度小包括更多的细节信息,因此仅从超像素层提取种子点。

1.4 种子扩散

根据1.3.2节提取的前景和背景种子点标记查询因子。背景查询因子中的S表示超像素层的节点,如果超像素Si属于背景种子点,那么否则为0,图像块层和聚类层节点标记为0;前景查询因子如果超像素Si属于前景种子点,那么否则为0,其余的全部标记为0。然后采用扩散矩阵WL=(D-αW)-1[20],基于背景和前景种子点进行流形排序得到基于背景和前景种子点的排序分数。其中W=[Wij]N×N为多层图模型的关联矩阵,N为所有节点的个数,度矩阵D=diag{d11,…,dNN},顶点的度α= 0.99。排序结果fB,fF分别为

fB(i)=WLYB,iS

(10)

fF(i)=WLYF,iS

(11)

最后融合两种排序分数得到超像素的显著性,采用文献[24]的方法计算超像素的显著性:

f(i)=[fF(i)-fB(i)]/[fF(i)+fB(i)]

(12)

式(12)等号右侧的分子部分代表超像素的显著性,分母平衡所有节点的显著性。由于引导滤波[28]具有保留强边缘、模糊弱边缘的优点,采用引导滤波进行滤波得到最终显著图。

2 实验结果

2.1 实验设置

本文实验采用MSRA-1000和ECSSD数据集,这两个数据集均为公开的数据集。MSRA-1000数据集是MSRA5000数据集的一部分,包括1 000张不同尺寸的图像以及对应的真值图;ECSSD数据集包含1 000张背景复杂的图片以及真值图。采用的评价指标包括P-R 曲线(Precision-Recall Curve)、F-measure和平均绝对误差(Mean Absolute Error,MAE)等。

(13)

(14)

其中:M,N为显著图的长和宽;S(X,Y)为显著值;GT(X,Y)为真值图中的真实值。选取当前流行的FT[8]、HC[12]、COV[26]、PCA[29]、SF[16]、GB[11]、GC[14]、RC[12]、GMR[19]算法进行定性和定量比较。

2.2 定性比较

本文算法和其他7种算法的视觉直观比较结果如图5所示,其中第4、6行图像的显著性区域位于图像边缘,第1、2、4、6图像的显著性目标大小不同。实验结果表明,本文算法可以有效检测位于图像边缘的显著区域,避免突出显著物体周围的区域,得到均匀的显著区域,而且有效检测不同尺度的图像,取得了跟真实值更接近的结果。

2.3 定量比较

本文在MSRA-1000和ECSSD两个数据集上计算得到了各项指标图,如图6和图7所示。图6示出了在MSRA-1000数据集上使用本文方法和其他9种主流方法得到的显著图的定量比较。将显著图从0到255依次进行阈值分割, 计算每个阈值下所有显著图的平均准确率和召回率,得到P-R曲线,如图6(a)所示,本文方法和GMR的曲线较接近,均高于其他曲线。图6(b)示出了自适应阈值下的准确率、召回率、F-measure。图6(c)示出了MAE值的比较结果,MAE衡量显著图和真值图的差异性。可以看出本文方法得到的F-measure以及MAE值与GMR算法结果持平,均优于其他算法。

图5 不同算法的显著图视觉比较
Fig.5 Visual comparison of saliency maps of different algorithms

图6 MSRA-1000数据集上的结果比较
Fig.6 Compared results on MSRA-1000 database

图7 ECSSD数据集上的结果比较
Fig.7 Compared results on ECSSD database

图7示出了各种算法在ECSSD数据集上的结果比较。从图7(a)的P-R曲线看出,由于ECSSD数据集的图像背景较复杂,因此所有方法的P-R曲线都有所下降,但是本文方法依然取得了较高的准确率和召回率。图7(b)综合评价了准确率和召回率,本文方法取得最优的结果。图7(c)的MAE值结果显示,本文的MAE值明显低于其他的显著性检测方法。MAE值衡量的是检测值和真实值的差异,证明本文算法的检测结果的误检率较低,更接近真实值。

3 结束语

本文提出了基于多层图和紧凑性的显著检测模型。多层图引入图像块层和聚类层,结合局部和全局信息且降低种子敏感性,获得均匀的显著区域,可以很好检测不同大小的目标。超像素层的节点连接方式结合前景一致性和背景一致性,有效抑制显著区域周围的背景区域。基于紧凑性检测模型提取较可靠的种子点,获得更精准的显著结果。实验结果证明,本文算法在MSRA-1000和ECSSD数据集上获得了与现有流行方法相当或者更高的准确率和召回率,验证了本文算法的优越性。未来将考虑更多的图像特征,研究高层信息并构建更合理的图模型,以增强模型的适应性。

参考文献

[1] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-aware saliency detection[C]//Computer Vision and Pattern Recognition. USA: IEEE, 2010: 2376-2383.

[2] RUTISHAUSER U, WALTHER D, KOCH C,et al. Is bottom-up attention useful for object recognition?[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2004: 37-44.

[3] ITTI L. Automatic attention-based prioritization of unconstrained video for compression[J]. Proceedings of SPIE: The International Society for Optical Engineering, 2004, 5292: 272-283.

[4] SCHMID C, JURIE F, SHARMA G. Discriminative spatial saliency for image classification[C]//IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2012: 3506-3513.

[5] LIU Z, ZHANG X, LUO S,et al. Superpixel-based spatiotemporal saliency detection[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2014, 24(9): 1522-1540.

[6] ITTI L, KOCH C, NIEBUR E. A Model of Saliency-based Visual Attention for Rapid Scene Analysis[M]. USA: IEEE Computer Society, 1998.

[7] HOU X, ZHANG L. Saliency detection: A spectral residual approach[C]//IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2007: 1-8.

[8] CHENG M M, ZHANG G X, MITRA N J,et al. Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition. USA: IEEE, 2011: 409-416.

[9] NGAU C W H, ANG L M, SENG K P. Bottom-up visual saliency map using wavelet transform domain[C]//IEEE International Conference on Computer Science and Information Technology. USA: IEEE, 2010: 692-695.

[10] IMAMOGLU N, LIN W, FANG Y. A saliency detection model using low-level features based on wavelet transform[J]. IEEE Transactions on Multimedia, 2013, 15(1): 96-105.

[11] SCHÖLKOPF B, PLATT J, HOFMANN T. Graph-based visual saliency[C]//International Conference on Neural Information Processing Systems. USA: MIT Press, 2006: 545-552.

[12] JIANG H, WANG J, YUAN Z,et al. Automatic salient object segmentation based on context and shape prior[C]//Proceedings of the 22nd British Machine Vision Conference. Dundee, Britain: BMVA Press, 2011: 1-12.

[13] HAN Q, NIU X. Errata: Salient region detection combining spatial distribution and global contrast[J]. Optical Engineering, 2012, 51 (5): 9802.

[14] CHENG M M, WARRELL J, LIN W Y,et al. Efficient salient region detection with soft image abstraction[C]//IEEE International Conference on Computer Vision. USA: IEEE, 2014: 1529-1536.

[15] SHI K, WANG K, LU J,et al. PISA: Pixelwise image saliency by aggregating complementary appearance contrast measures with spatial priors[C]//IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2013: 2115-2122.

[16] KRAHENBUHL P. Saliency filters: Contrast based filtering for salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2012: 733-740.

[17] GOPALAKRISHNAN V, HU Y, RAJAN D. Salient region detection by modeling distributions of color and orientation[J]. IEEE Transactions on Multimedia, 2009, 11(5): 892-905.

[18] WEI Y, WEN F, ZHU W,et al. Geodesic saliency using background priors[J].European Conference on Computer Vision, 2017, 7574 (1): 29-42 .

[19] JIANG B, ZHANG L, LU H,et al. Saliency detection via absorbing markov chain[C]//IEEE International Conference on Computer Vision. USA: IEEE, 2013: 1665-1672.

[20] YANG C, ZHANG L, LU H,et al. Saliency detection via graph-based manifold ranking[C]//Computer Vision and Pattern Recognition. USA: IEEE, 2013: 3166-3173.

[21] FREY B J, DUECK D. Clustering by passing messages between data points[J]. Science, 2007, 315(5814): 972-976.

[22] ZHANG L, YANG C, LU H,et al. Ranking saliency[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 99: 1-13.

[23] ACHANTA R, SHAJI A, SMITH K,et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(11): 2274-2282.

[24] HWANG I, LEE S H, PARK J S,et al. Saliency detection based on seed propagation in a multilayer graph[J]. Multimedia Tools & Applications, 2017, 76(2): 2111-2129.

[25] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(7): 971-987.

[26] QIN Y, LU H, XU Y,et al. Saliency detection via cellular automata[C]//Computer Vision and Pattern Recognition. USA: IEEE, 2015: 110-119.

[27] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(10): 1915-1926.

[28] ERDEM E, ERDEM A. Visual saliency estimation by nonlinearly integrating features using region covariances[J]. Journal of Vision, 2013, 13(4): 11.

[29] RAN M, TAL A, ZELNIK-MANOR L. What makes a patch distinct?[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . USA: IEEE, 2013: 1139-1146.