一种基于区域一图非对称匹配的少数民族服饰检索方法

来源:用户上传      作者:

　　摘要：针对少数民族服饰具有的典型纹样图案和款式特征，提出一种基于区域一图非对称匹配的少数民族服饰图像检索方法，首先利用gPb-OWT-UCM算法对检索图像进行区域分割，然后将分割后图像中的每个区域特征与未分割的待检索图像进行基于动态规划的非对称匹配，并通过评估匹配组的布局一致性计算少数民族服饰图像之间的相似度，最后通过排序实现图像检索任务。实验结果表明，与传统基于外观特征的方法相比，该方法不仅可以获得较好的图像检索效果，还可以通过相似区域匹配结果呈现不同少数民族服饰独有的风格特征，为少数民族服饰文化的数字化保护与传承提供有效途径。
　　关键词：图像匹配;图像检索;少数民族服饰
　　DOI：10.11907/rjdk.201439开放科学（资源服务）标识码（OSID）：
　　中图分类号：TP317.4文献标识码：A 文章编号：1672-7800（2020）005-0227-04
　　0 引言
　　随着计算机网络的飞速发展以及数字信息技术、多媒体技术的广泛应用，数字媒体资源数量的快速增长使得人们很难从大数据中获取有效且有价值的信息。因此，图像检索技术成为近年来数字图像应用领域的一个研究热点，并已成功应用于自然图像、医学图像等图像检索中。少数民族服饰是民族文化的重要體现之一，从计算机视觉角度分析民族服装视觉特征，不仅可以准确描述并迅速分析民族服饰表现出的颜色、纹理、形状等显著特征，还可挖掘出更深层次、人类肉眼无法识别的潜在信息，帮助学者更客观、全面、深入地进行民族服饰研究。目前，在民族服装图像资源检索应用方面，随着多媒体技术的迅速发展，少数民族服装学术研究、艺术设计等领域的需求也在不断扩大，但实际上在网络庞大的数据库中寻找适合的少数民族服饰图像资源时，很多时候并不能得到令人满意的结果。其原因除少数民族服饰资源相对较少外，更多的是因为与普通自然图像视觉特征相比，少数民族服饰蕴含特征突出、色彩绚丽、纹理复杂、图腾丰富，而传统基于手工设计特征的检索方法存在很大的局限性，从而给图像检索带来了很大挑战。
　　近年来随着服装网络市场需求的不断增长，服装分割、检索等方面研究得到越来越多关注，一些学者也进行了少数民族服饰图像检索相关研究。如申旭梅等提出一种基于颜色与边缘方向直方图特征的少数民族服饰检索方法，并在其自建的包含白族、景颇族、哈尼族、苗族、布依族、佤族共6个民族的少数民族服饰图像数据集上进行验证。针对传统基于全局特征图像检索方法的不足，赵伟丽等提出一种基于区域综合匹配的民族服装图像检索方法，通过模糊颜色直方图对不同颜色区域提取纹理、形状等特征，再进行区域一区域的加权匹配与检索。但由于该方法对区域的划分依赖于颜色信息，会出现不准确的情况，因此区域匹配的优势并未得到体现。由于少数民族服装包含的视觉信息更加丰富和抽象，传统基于底层设计方法的特征表征能力与可辨别性较差，在应用中存在很大的局限性，还需探索更有效的民族服饰图像检索方法。
　　因此，本文提出一种基于区域一图非对称匹配的少数民族服饰图像检索方法，充分利用不同少数民族服饰在纹样图案和款式等方面表现出的显著特征，通过评估检索图像分割区域与待检索图像之间非对称匹配组的布局一致性，计算两幅图像的相似性，最终完成少数民族服饰检索。
　　1 算法描述
　　本文首先采用gPb-OWT-UCM算法对少数民族服饰图像进行轮廓检测与分割，然后利用区域一图的点匹配算法计算少数民族服饰图像的相似性，最后通过相似度排序完成民族服饰图像检索。
　　1.1 轮廓检测与分割
　　全局边缘概率一方向分水岭变换和超度轮廓图（globalized Probability of boundary.Oriented Watershed Transform and UCM，gPb-OWT-UCM）算法是一种自底向上的分割方法，其中超度轮廓图（Uhrametric Contour Map，UCM）是Arbelaez等提出的基于边缘检测的图像层次分割方法。该方法自底向上进行图像层次分割，通过多次迭代进行区域合并从而构造一种加权轮廓图，其显著特点是可以通过设置任何阈值产生一组闭合曲线。定义初始分割图G=（P0，K0，W（K0）），其中区域P0为图的节点，连接相邻区域的边K0为图的边，相邻区域的不相似性度量W（K0）为边的权重，gPb-OWT-UCM算法描述如下：
　　输入：CPb检测器生成的初始轮廓图，OWT初始化边权重W（K0）。
　　输出：迭代分割结果。
　　Stepl：选择W（K0）中权重最小的边。
　　Step4：如果K0为空，则停止迭代;否则更新权重W（K0），并执行Stepl。
　　该过程也可理解为区域树的生成过程，叶子节点是区域P0的初始元素，根是整幅图像。通过区域的不相似性对边进行排序，不断迭代合并最相似的区域进行UCM层次分割，在每一层次分割过程中删除当前权重最小的边，而剩余边缘权重都大于被删除的边缘权重，从而构建一个多种尺度下具有索引层次结构的轮廓图，最终通过选取尺度得到合适的轮廓作为最佳分割结果。
　　1.2 区域一图点匹配
　　由于图像特征局部描述符如SIFT对部分遮挡、光照变化和杂波具有鲁棒性，因此在目标识别和图像检索任务中经常使用这些局部特征完成点一点匹配。但在进行基于外观的特征匹配时，如果单独使用局部特征则容易受到噪声影响，通常会附加一些几何约束在初始点匹配池中选择一致的匹配点。Kim等提出一种基于密集SIFT特征的匹配算法，根据自底向上分割结果的分组匹配对具有非参数几何约束的一般对象进行比较，具体描述如下： 　　输人：分割后的图像I1，未分割的待匹配图像I2。
　　输出：两幅图像匹配分数s。
　　Stepl：提取两幅图像的密集SIFT特征。
　　Step2：将图像I1每个区域内的网格（grid）中心看作一个点，然后分别从纵向和横向将这些匹配点用“字符串”形式进行串联表示，即Pi（p1…，pli）。其中li表示第i个区域内点的个数，pk与pk+l是相邻点。
　　Step3：通过SIFT匹配为“字符串”的每个点在图I2中寻找候选匹配点集C：[C1，…，Cli），其中Ck为点pk对应的候选匹配点集。
　　Step4：通过动态规划从候选匹配点集中寻找最优匹配M*={m1，…，m2}，其中mk∈Ck。
　　Step5：假设{（p1，m1），…，（pn，mn）}为所有n个点的匹配点集合，定义图I1、图I2的匹配分数s为：
　　其中，函数G（·）表示几何形变项，A（·）表示外观相似性项，O（·）表示序约束项，D（·）表示位移约束项，且每一项都设置了不同权重值。
　　在匹配过程中，首先寻找分割图像上每个区域的点与未分割图像内点之间的对应组，然后通过动态规划目标求解有效增强每个区域一图像匹配组的布局一致性，最后通过评估对应组并集的外观和几何一致性计算两幅图匹配程度。该方法是一种非对称匹配，其允许不同区域内匹配之间的变形，尤其在匹配非刚性对象的每个部分或计算多对一匹配时具有更大的灵活性。
　　1.3 相似度计算与图像检索
　　通过上述步骤即可得到两幅图的匹配分数，分数越高，表示两幅图像越相似。通过计算数据集中所有两两图像之间的匹配分数即可得到一个相似矩阵S，如式（5）所示。
　　其中，si，j代表第i幅查询图像与数据集中第j幅图像之间的相似度，显然S是一个对称矩阵，其主对角线上的元素值均为1。
　　2 实验结果与分析
　　2.1 实验数据说明
　　本实验采用的少数民族服饰数据集共有600幅图像，包含白族、景颇族、哈尼族、苗族、布依族、佤族6个民族各100幅服饰图像。该数据集图像大多来源于网络，图像分辨率较低，图像像素为128x96或96x128。大部分服饰图像中有多个服饰对象，或具有复杂背景。
　　2.2 评价指标
　　将本实验数据集中每一幅图像都作为查询图像进行检索，并根据相似度排序返回排名靠前的若干相关图像，然后通过计算平均查准率（Average Precision，AP）和平均查全率（Average Recall，AR）评价算法检索性能。AP和AR计算方法如式（6）、式（7）所示。
　　其中，N为查询图个数，Pi、Pi分别为第i幅查询图像的检索查准率和查全率，Nk为检索返回前k个图像中的正确图像个数，NA为检索返回图像个数，Ni为第i幅图像在数据集中相关图像个数。
　　2.3 实验设置
　　本实验中图像轮廓检测与分割采用文献[11]的算法代码，参数设置相同。在提取SIFT特征时，采样步长nstep设置为6，采样grid尺度设置为4个尺度[4，6，8，10];在动态规划代价函数计算过程中，参数ωg，ωa，ωo，ωd分别设置为1.0、1.25、1.5、4.0。
　　2.4 实验结果与分析
　　为验证本文方法在少数民族服饰图像检索中的性能，实验从两方面进行对比与分析。
　　2.4.1 圖像匹配效果
　　本文采用的区域一图匹配算法首先需要进行图像轮廓检测与分割，然后进行匹配。下面给出两组实验，如图l、图2所示。
　　从图l中第一行匹配结果可以看到，该算法对白族代表性帽饰中的元素都能进行较好的匹配;第二行是多个对象区域的匹配效果，进一步说明了区域一图非对称匹配不是仅局限于区域一区域的匹配，而是可以在被匹配图像中任何区域进行匹配。图2为采用区域一图非对称匹配与经典SIFT算法匹配效果对比。本组实验中匹配图像是一幅具有复杂背景的服饰图像，第一行匹配为本文采用的区域一图非对称匹配效果，可以看到对于服饰上部分帽饰穗子以及腰间、袖口、前襟、裤腿上的花纹图案都能进行很好的匹配，相比之下，由于受到复杂背景的影响，SIFT算法匹配效果不是很理想。
　　通过以上两组实验可以得出，由于基于区域一图的非对称匹配通过UCM层次分割过滤了背景等干扰因素，在匹配过程中考虑了外观相似性和几何一致性，同时允许不同区域内匹配之间的变形，因此在少数民族服饰匹配中具有显著优势。
　　2.4.2 图像检索性能
　　本组实验对不同方法的检索性能进行分析与对比。图3为当检索返回的图像数量从l增加到100时的平均检索准确率变化曲线，可以看到随着检索返回图像数量不断增加，平均检索准确率逐渐下降，从返回l幅时的100%下降至返回100幅时的约30%，其原因是当检索返回图像数量增多时，检索难度随之增加。同时也看到由于服饰款式及颜色多样，以及图像分辨率低、背景复杂等原因，少数民族服饰检索存在巨大的挑战。
　　将不同方法在检索性能上的表现进行对比，检索返回前12幅图像的检索准确率与查全率，比较结果如表l所示。
　　其中，HOG、LBP、LDP分别为方向梯度直方图、局部二进制模式和局部方向模式，均为基于纹理、方向的统计特征，相比之下，LDP特征描述了图像纹理和形状特征，具有较强的特征辨别能力。从对比结果可以看出，LDP准确率稍高于HOG和LBP，但这些基于外观统计特征的方法易受到复杂背景等于扰因素影响，而本文方法通过服饰分割和非对称匹配更关注于服饰部分特征，因此得到了较高的平均查准率和平均查全率。图4展示了检索返回的前10幅图像结果示例，其中每一行第一幅图像为相应查询图像，方框为错误结果。从检索结果可以看出，本文方法对于分辨率较低的少数民族服饰图像，在具有复杂背景、多服饰对象、部分偏转等情况下大多仍表现较好。
　　3 结语
　　本文提出一种基于图像匹配的少数民族服饰图像检索方法，该方法首先对检索图像进行区域分割，然后与图像集中的待检索图像进行基于区域一图的非对称匹配，最后通过评估匹配结果计算少数民族服饰图像之间的相似度，从而完成检索任务。实验结果表明，本文方法能够获得较好的检索效果，尤其对于具有图腾图案或独特款式等显著特征的少数民族服饰检索具有一定优势。然而，由于数据集图像分辨率低且存在复杂背景，还需结合少数民族服饰颜色和纹理等特征以进一步提高检索准确率。
转载注明来源:https://www.xzbu.com/8/view-15278008.htm