应用于艺术辅助设计的场景视觉理解算法研究

来源:用户上传      作者:

　　摘  要： 针对原有艺术辅助设计中对已知视觉场景图像信息提取不准确，造成输出图像不清晰的问题，研究一种基于场景视觉理解算法的艺术辅助设计方法。对已知视觉场景图像按照设定阈值进行颜色分割，形态学处理分割后图像，减小噪声以及断裂影响获取的连通区域，制定提取规则筛选候选区域。采用致密采样的形式提取候选区域内更多的SIFT目标特征，匹配特征点，将已知图像信息坐标系整合成统一坐标系，输出设计图像，完成艺术辅助设计。仿真实验结果表明，基于场景视觉理解算法的艺术辅助设计方法较原有方法对已知图像的信息提取更准确，有助于解决输出图像清晰的问题，提高了图像的整体设计效果。
　　关键词： 视觉场景理解算法; 目标分割; 目标识别; 計算机辅助设计; 艺术设计; 视觉场景提取; 场景分类
　　中图分类号： TN911.73?34; TP391                 文献标识码： A                    文章编号： 1004?373X（2020）09?0037?04
　　Research on application of visual scene understanding
　　algorithm in art aided design
　　LU Kai1， MIAO Tenghui2
　　（1. Shijiazhuang Tiedao University， Shijiazhuang 050043， China; 2. Hebei College of Science and Technology， Baoding 071000， China）
　　Abstract： For the output image′s unsharpness caused by inaccurate extraction of image information of known visual scene in the original art aided design， an art aided design method based on visual scene understanding algorithm is studied. The color of the known visual scene image is segmented according to the set threshold value. The morphological processing is performed on the segmented images to reduce noise and fracture effect， and obtain the connected regions. The extraction rules are laid down to screen candidate regions. More SIFT target features in candidate regions are extracted by dense sampling to match feature points， so that the coordinate system of the known image information is integrated into a unified coordinate system， the designed images are output， and the art aided design is completed. The simulation experiment results show that the art aided design method based on the visual scene understanding algorithm is more accurate than the original algorithm in extracting the information of the known image， which facilitates enhancement of the output image sharpness and improvement of the overall design effect of the image.
　　Keywords： visual scene understanding algorithm; target segmentation; target recognition; computer aided design; art design; visual scene extraction; scene classification
　　0  引  言
　　艺术设计中通常运用软件设计和手绘设计，随着多媒体技术的飞速发展，艺术设计也越来越倾向于与计算机技术相结合，产生各种各样结合功能的辅助设计工具和设计软件[1]。各种设计软件越来越多，功能也越来越全，可以反复打磨和推敲设计作品，降低手工设计成本。同时，通过二维绘制软件和三维立体模型设计软件制作设计样品，更加丰富了视觉效果的创造性，能更好地呈现出设计师的设计理念以及创新思路，改变了艺术设计原有表现形式，完善了艺术设计的工作方式，给传统艺术设计带来了翻天覆地的变化。
　　在与艺术设计融合的计算机技术中，场景视觉理解是现在最广泛应用于艺术设计领域的技术之一。场景视觉理解是利用计算机模拟人眼视觉功能，用计算机代替人眼和大脑，感知、识别、理解客观世界中的三维场景及物体，通过与自然语言相融合，用于分析场景图像中复杂的物体分布问题，并以合理的方式精确描述所获取信息，帮助设计师提取场景信息数据[2]。结合视觉场景理解算法的艺术辅助设计方法，在艺术创作中能够有效帮助设计师解决因为提取场景图像信息数据不精确而造成输出图像不清晰的问题。因此，基于艺术辅助设计应用背景，提出适用的场景视觉理解算法。 　　1  基于场景视觉理解算法的艺术辅助设计方法
　　复杂场景图像中，目标信息或物体存在被其他物体遮挡、色差变化、形态大小不一等原因，不利于目标信息特征提取[3]。因此，基于场景视觉理解算法的艺术辅助设计方法中，首先，按照设定阈值对场景图像进行颜色分割;然后，对有效描述区域进行形态学处理，获得候选区域;再通过SIFT特征提取候选区域内的目标特征，输入设计系统中进行组合设计，筛选合格结果，实现艺术辅助设计。
　　设计方法流程如图1所示。
　　1.1  粗分割获取场景图像候选区域
　　对已知的场景图像按照一个或多个颜色空间的设定阈值进行颜色分割，通常使用RGB，HIS，HSV以及LCH[4?5]。具体场景图像分割算法公式如下：
　　[（x，y）=f1（x，y）& f2（x，y）]  （1）
　　式中[x，y]表示图像所在平面的横纵坐标。[f1（x，y）]在不同阈值下存在不同值，当在RGB颜色空间中，输入图像的[R]通道小于最佳阈值时，[f1（x，y）=255]，否则[f1（x，y）=0]，通过[f1（x，y）]可以有效消除图像中蓝色区域的干扰，尤其是在室外的场景图像中，明显控制天空对蓝色区域造成的干扰效果。但是，[f1（x，y）]对诸如黑色、灰色以及褐色等深色区域的干扰是无作用的。因此公式中引入[f2（x，y）]来解决[6]，[f2（x，y）]可以消除如绿色、红色、橙色等与蓝色差别很大色调的干扰。
　　在HSV颜色空间中，输入图像的[H]通道在最佳阈值上限和下限中时，[f2（x，y）]同样取值255。但通常输入软件中的图像是RGB颜色空间，因此，两种颜色空间之间需要转换，[H]的转换公式如下：
　　[H=0，     max=min60×G-Bmax-min，    max=R&G≥B60×G-Bmax-min+360，    max=R&G<B      60×G-Bmax-min+120，    max=G60×G-Bmax-min+240，    max=B] （2）
　　式中max和min分別表示像素点在RGB颜色空间中各通道的最大值以及最小值。另外，当max=0时，[S]通道也等于零，否则，等于1与最小值比最大值的差。
　　完成场景图像的颜色分割后，由于分割的场景图像易受到外界因素的影响，产生多噪声和断裂，因此，对图像中有效描述形状的区域如外壳、框架等进行形态学处理，减小噪声的影响并且获取连通区域[7]。
　　假定[A]，[B]为二维空间中[Z2]的集合，使用膨胀操作重新裂解部分候选区断裂部分，填补断裂的轮廓线，定义所有[Z]位移集合为[B]膨胀[A][8]，保证[A]与[B]中至少有一个元素重叠，然后进行腐蚀操作，光滑区域轮廓，断开狭窄缝隙及毛刺。
　　经过形态学处理后的图像仍存在未消除的干扰区域。为降低干扰区域的影响，需要制定规则提取候选场景区域。
　　设定连通区域为[Ci（i=1，2，…，n）]，其中，[i]表示第[i]个连通区域，[n]为连通区域的个数。连通区域的宽、高以及面积分别表示为[Li]，[Wi]，[Si]。若三者满足以下条件[9]：
　　[Si≥Smin?Si≤SmaxLiWi≥LWmin?LiWi≤LWmaxSiLi×Wi≥SL×Wmin] （3）
　　则表示连通区域为候选区域。
　　式中：[Smin]和[Smax]表示连通区域面积的最小值以及最大值;[LWmax]和[LWmin]表示连通区域长宽比的最值;[SL×Wmin] 表示占空比最小值。
　　对已知场景图像粗分割得到候选区域，通过提取形状特征将图像分类。
　　1.2  提取候选区域内部目标特征
　　场景图像候选区域目标特征描述是利用一种计算机视觉算法SIFT特征，具有对图像局部特征的位置信息、尺度信息和旋转不变性等优点[10]，检测并描述候选区域局部特征，降低计算机处理数据量，同时，保留所需关键视觉信息。
　　为提取场景内部目标特征，通常在候选区域内以SIFT特征点为中心，计算[16×16]窗口范围内各个像素的梯度和方向。为了使采样更充分，增强设计输出的图像清晰度，本文采用致密采样的形式以求获得更多的SIFT特征点，如图2所示。
　　图2中不同颜色组成的同心圆代表SIFT特征符在不同尺度下的搜索范围，三种颜色的圆分别对应的搜索半径为[r=4，8，12]个像素。在SIFT特征点中心即同心圆圆心处计算SIFT描述符[11?12]。由一个128维的特征向量来表示每个SIFT描述符，因此，就可以由[128×3=384]维的特征向量描述每个提取点。
　　通过提取SIFT特征，要对大量的提取点进行聚类。将相似提取点进行K?Means聚类量化，合并成视觉关键词，按照提取点顺序，对关键词进行排序构成视觉词典，提高算法计算效率[13]。根据关键词出现的频率，建立相应的关键词直方图，完成对候选区域的目标特征提取。
　　1.3  匹配特征点生成输出图像
　　在提取图像的特征向量之后，将特征点的坐标以及向量输入到匹配算法中，根据欧氏距离求出最相近的匹配向量对。采用优先搜索查找算法找到特征点最邻近的两个特征点，然后分别计算这个特征点与两个特征点之间的欧氏距离的比值，如果比值小于规定值，则匹配成功，否则失败[14]。匹配成功的两点即为图像对中的一组匹配点。
　　相邻图像中的匹配点在各自的图像坐标系中，根据坐标系的关系将其整合成同一个坐标系，从原图像变换到目标图像，完成匹配后生成一幅图像。 　　至此，完成基于场景视觉理解算法的艺术辅助设计方法研究。
　　2  仿真实验
　　仿真实验通过测试相同场景图像集下，基于场景视觉理解算法的艺术辅助设计方法对图像信息的提取情况，实验对比对象选取为原有艺术辅助设计方法。
　　2.1  实验准备
　　实验开发环境的硬件平台为PENTIUM IV 3.7 GHz CPU 和4 RAM，内存大小为3 GB。软件环境包括Visual Studio，Windows 10操作系统，Multigen Creator，编程语言Visual C++ 4.0，相关实验参数[15]见表1。
　　2.2  实验图像集
　　采用Massachusetts institute of technology的图像集，其中，共包含2 688幅自然场景图像，包括森林、高山、海岸、城市等场景，如图3所示。
　　2.3  实验结果
　　根据上述仿真环境、参数设定以及图像集进行图像花卉信息提取，得到原有方法提取结果如图4所示，本文设计方法提取结果如图5所示。
　　对比图4，图5可知，基于场景视觉理解算法的设计方法可以有效地提取已知图像的花卉信息，而从原有方法的提取结果可以看出，大部分花卉信息可以识别提取，但也提取了图像上的昆蟲信息。结果表明，在已知图像的信息提取上，本文设计方法较为精准，有助于解决输出图像清晰度不高的问题，减小噪声影响，提高了图像的整体设计效果。
　　3  结  语
　　本文设计的基于场景视觉理解算法的艺术辅助设计方法能够有效地对已知视觉场景图像信息进行精确提取，有助于解决输出结果图像不清晰的问题，同时，可以提高图片的输出质量，改善了艺术辅助设计的视觉效果。
　　参考文献
　　[1] 孙瀚，夏熙，刘利刚.面向自动扫描的三维形状多层次局部匹配算法[J].计算机辅助设计与图形学学报，2019，31（1）：12?18.
　　[2] 王晨，汤心溢，高思莉.基于深度卷积神经网络的红外场景理解算法[J].红外技术，2017，39（8）：728?733.
　　[3] 林丽敏.计算机辅助设计在室内设计中的应用探究[J].艺术科技，2018，31（7）：200?201.
　　[4] 郭鹏.计算机软件辅助美术设计的独特优势分析[J].自动化与仪器仪表，2018（7）：61?62.
　　[5] 于莉洁，孙瑜亮，缪永伟.基于深度信息局部二值模式特征的室内场景边缘检测[J].计算机辅助设计与图形学学报，2017，29（12）：12?20.
　　[6] 赵新灿，展鹏磊，吴飞，等.基于领域知识的3维动态场景目标识别和配准[J].机器人，2018，40（4）：534?539.
　　[7] 凌霞，陈飞虎.模式学习优化的文化算法在环境艺术创新设计中的应用[J].科技通报，2017，33（3）：111?114.
　　[8] 吴培良，刘海东，孔令富.一种基于丰富视觉信息学习的3D场景物体标注算法[J].小型微型计算机系统，2017，38（1）：154?159.
　　[9] 郭冲宇，杜慧敏，蒋忭忭，等.视觉背景提取算法关键技术研究[J].计算机应用研究，2017，34（5）：1548?1552.
　　[10] 吴宗胜，傅卫平，韩改宁.基于深度卷积神经网络的道路场景理解[J].计算机工程与应用，2017，53（22）：8?15.
　　[11] 黄勇，刘芳.场景语义SAR图像桥梁检测算法[J].西安电子科技大学学报（自然科学版），2018，45（4）：46?50.
　　[12] 史静，朱虹，王栋，等.融合视觉感知特性的场景分类算法[J].中国图象图形学报，2017，22（12）：1750?1768.
　　[13] 范敏，韩琪，王芬，等.基于多层次特征表示的场景图像分类算法[J].吉林大学学报（工学版），2017，47（6）：1917.
　　[14] 谭志国，欧建平，张军.多特征组合的深度图像分割算法[J].计算机工程与科学，2018（8）：97?102.
　　[15] 陈龙，吴龙飞.基于Qt的数字图像处理实验演示系统[J].实验室研究与探索，2018（7）：177?180.
转载注明来源:https://www.xzbu.com/8/view-15249096.htm