基于人工智能技术的运动视频内容分类研究

来源:用户上传      作者:

　　摘  要： 针对分类运动视频内容可帮助用户更有效地获取与管理运动视频信息，设计基于人工智能技术的运动视频内容分类方法。在运动视频压缩域内，采用机器视觉技术中基于主色相似度的差分统计直方图（DCDSH）特征提取算法结合HSV颜色空间，获取运动视频某帧图像的主色特征;利用机器学习技术中的支持向量机（SVM）构建SVM分类器，建立运动视频图像各主色特征向量同视频内容类别间的对应关系;结合one?against?one结构将SVM二分类器推广到运动视频特征的多分类问题上，汇总各SVM二分类器的分类结果，通过投票规则将得票最高的类别标记为待分类运动视频所属类别。分类结果显示，所研究方法能够有效识别并分类篮球、足球、羽毛球、滑冰4种不同类别运动视频内容，平均分类查全率和查准率都高于95%。
　　关键词： 运动视频; 视频内容分类; 主色特征获取; 人工智能技术; 机器视觉; 分类器构建
　　中图分类号： TN948.6?34; TP391.41                  文献标识码： A                 文章编号： 1004?373X（2020）09?0058?04
　　Research on sports video content classification based on artificial intelligence technology
　　ZHANG Zhengwei
　　（Department of Railway Police Affairs， Railway Police College， Zhengzhou 450053， China）
　　Abstract： Since the classified sports video content can help users more effectively acquire and manage sports video information， a sports video content classification method based on the artificial intelligence technology is designed. In the sports video compression domain， the DCDSH （dominant color differential statistic histogram） feature extraction algorithm based on dominant color similarity in the machine vision technology is used in combination with HSV （hue?saturation?value） color space to obtain the dominant color features of a certain frame of sports video. The support vector machine （SVM） in the machine learning technology is used to construct SVM classifier， and establish the corresponding relation between each dominant color feature vector and the video content category of the sports video image. In combination with one?against?one structure， SVM two?class classifier is extended to the multi?classification of sports video features， the classification results of each SVM two?class classifier are summarized， and the category with the highest votes is marked as the category under classification of the sports video according to the voting rules. The classification results show that the designed method can effectively identify and classify the 4 categories of sports video contents of basketball， football， badminton and skating， and both the recall ratio and the precision ratio of its average classification are higher than 95%.
　　Keywords： sport video; video content classification; dominant colour feature acquisition; artificial intelligence technology; machine vision; classifier establishment
　　0  引  言
　　当前，计算机与互联网技术越发成熟，用户在计算机、手机、电视机等不同媒介中观看各种运动视频，在海量且多样的视频资源中如何快速获取、有效管理所需视频内容成为相关领域研究热点[1]。视频内容分类技术可提升体育视频的检索速度，针对体育视频，有效的视频内容分类不仅可使教练快速获取相关训练比赛视频资料，针对性指导运动员训练，還可使用户在海量视频资源中快速获取感兴趣的体育视频内容。因此，体育视频内容分类成为当前数字视频研究领域中的一个重要分支。 　　运动视频与其他类型节目视频相比，存在某些固定的内容组成和运动场地等特征[2]，这些特征为运动视频内容分类提供依据。作为计算机学科的一个主要分支，人工智能技术被称为世界三大尖端技术之一[3]，其中，包含机器视觉、机器学习、大数据与自然语言处理等技术，主要功能为分析、开发用于仿真、拓展人类智能的方法及应用[4?5]。
　　本文研究基于人工智能技术的运动视频内容分类方法，采用人工智能技术中的机器视觉技术确定运动视频内容特征，采用机器学习技术构建运动视频内容分类器，实现精准的运动视频内容分类。
　　1  运动视频内容分类方法设计
　　1.1  运动视频压缩域的特征分析
　　为避免运动视频解压缩导致的运算过程复杂化问题[6]，在运动视频压缩域内采用基于主色相似度的差分统计直方图特征提取算法（DCDSH算法）分析运动视频内容特征。
　　运动视频图像的颜色直方图是判断图像颜色特征的依据[7]，但根据颜色直方图判断运动视频图像颜色特征忽略了图像内颜色的空间分布，导致不同运动视频图像颜色特征一致。
　　为解决此问题，判断运动视频图像颜色特征时采用DCDSH算法，过程如下所示。
　　1） 依据运动视频图像颜色聚类运动视频图像，确定图像主色集，用[COLOR]表示，排序主色频率[P]：
　　[COLOR=c1，c2，…，ck] （1）
　　[P=p1，p2，…，pk] （2）
　　式中：[cii=1，2，…，k]和[pii=1，2，…，k]分别表示运动视频图像的主色及其频率，[k]表示主色数量。
　　2） 判断运动视频图像内不同像素点的像素值同[COLOR]内不同主色元素之间的一致度，构建主色一致度矩阵，用[S1，S2，…，Sk]表示，判断过程为：用[PM×N]描述运动视频图像矩阵，其中，[N]和[M]分别表示图像的高与宽。表示直方圖颜色空间时通常使用HSV空间，可较好地体现人对色彩的感知与判断能力，适用于基于颜色的图像一致对比[8]。
　　利用HSV空间中的三个分量，即色度、饱和度和亮度[9]表示一致度判断公式，可表示为：
　　[si=1-sicos hi-sr，lcos hr，l2+sisin hi-sr，lsin hr，l2+ vi-vr，l2] （3）
　　式中：[i=1，2，…，k];[r=1，2，…，M];[l=1，2，…，N];[hi]表示第[i]个主色的色度;[si]表示第[i]个主色的饱和度;[vi]表示第[i]个主色的亮度;[hr，l]表示图像宽为[r]，高为[l]时的色度;[sr，l]表示图像宽为[r]，高为[l]时的饱和度;[vr，l]表示图像宽为[r]，高为[l]时的亮度。
　　确定主色[ci]一致度矩阵[Si]为：
　　[Si=siM×N] （4）
　　3） 灰度化处理[Mi]内不同元素，将其量化至[0，255]区间内，用[grayi]表示量化结果，描述体育视频图像主色相较于主色[ci]的灰度化图像，式（5）用于描述[grayi]内各元素：
　　[grayii，l=si×255] （5）
　　式中[]代表取整。
　　4） 确定[grayi]的差分图像，用[difi]表示，[difil，r]表示[difi]内不同元素。用[m]和[n]表示较小整数，差分图像计算公式为：
　　[difil，r=grayil，r-grayil+1，r+1] （6）
　　5） 用[histig]表示[difi]的灰度直方图，统计各[histig]的同时确定直方图平均值。用[Ai]描述运动视频图像主色分布特征：
　　[Ai=1255g=1255g×histig] （7）
　　式中：[g]表示灰度值，在[Ai]值较大的条件下，[histig]在[g]较大区域分布较密集;在[Ai]值较小的条件下，[histig]在原点周围分布较密集。
　　6） 以[ti]表示[Ai×histig]的值，描述主色[ci]的颜色特征，则运动视频某帧图像的主色特征为[t1，t2，…，tk]。
　　1.2  SVM分类器
　　得到运动视频某帧图像的主色特征后即可获取运动视频图像的主色特征向量，利用机器学习技术可构建分类器，建立这些主色特征向量同视频内容类型间的对应关系[10]。支持向量机（SVM）具有较高的推广性能[11]，因此在构建分类器时采用SVM分类器。基于结构风险最小化原则确定一个最优分类超平面，利用最大距离划分两类数据是SVM分类器的核心[12]。
　　用[S=ti，yii=1，2，…，n]表示线性可分主色特征向量样本集，[tk∈Rd]，表示运动视频图像主色特征样本，其对应的类别标记为[yi=+1，-1]。以[gt=w?t+b]描述[d]维空间内线性判别函数，[w?t+b=0]表示[gt]相对的分类面方程。为使两类样本均达到[gt≥1]，需归一化处理[gt]，得到分类间隔，表示为[2w]。
　　由此可知，在保证[w]值最小的条件下可得到分类间隔面最大值，而满足式（8）即可达到分类面正确分类全部主色特征向量样本的目的：
　　[yiw?t+b-1≥0，    i=1，2，…，n] （8）
　　在保障分类间隔面最大值前提下满足式（8）要求的分类面即最优分类面[13]，最优分类面问题能够定义为在式（8）条件范围内，计算目标函数最小值问题：
　　[?w=12w2=12w?w] （9）
　　用[ξi]和[C]分别表示松弛变量与惩罚因子，针对线性不可分主色特征向量样本，可将目标函数转化为：
　　[?w，ξi=12w?w+Ci=1Nξi] （10） 　　基于此，采用Lagrange乘子[α1，α2，…，αN]将线性不可分样本转变为存在约束条件的二次函数极值问题[14]，确定最优分类面，得到[w=iαiyiti]。由于[w]内[αi]只对[ti]不为零，因此，最优分类函数可用式（11）描述：
　　[ft=sgnw?t+b=sgni=1Nαiyiti?t+b] （11）
　　由于运动视频内容包含多种类型，如足球、篮球、羽毛球、滑冰、游泳等，因此运动视频内容分类是一个多分类问题[15]，基于此，在SVM基础上结合one?against?one结构将SVM推广到多分类问题上。以篮球、足球、羽毛球、滑冰这四种类别的运动视频为例，对这四种类别的运动视频分别赋予类标签，用A，B，C，D表示，采用one?against?one结构设计6个SVM二分类器，不同分类器命名为：[SVM?AB]，[SVM?AC]，[SVM?AD]，[SVM?BC]，[SVM?BD]，[SVM?CD]，[SVMij]表示此分类器能够划分第[i]类和第[j]类主色特征样本向量，以高斯核函数作为核函数训练60个[i]类正例样本和60个[j]类反例样本。
　　通过平行结构连接6个训练后的SVM二分类器。对于待分类运动视频，在6个SVM二分类器内分别输入其主色特征样本向量，汇总各分类结果后通过投票规则判断最终类别标记输出结果，即得票最高的类别标记为待分类运动视频所属类别，分类流程如图1所示。
　　2  运动视频内容分类实验结果与分析
　　2.1  实验数据和环境
　　实验为验证基于人工智能技术的运动视频内容分类方法的分类结果，在Windows 7环境下，采用  Matlab Release 2011b编程平台进行实验，实验对象是约140 min的不同类型运动视频集，其中，包含214个运动视频片段，分辨率為1 280×720，实验对象来源与构成如表1所示。
　　2.2  分类结果
　　采用本文方法对实验对象进行分类，分类结果如图2所示。分析图2得到，篮球、足球、羽毛球、滑冰4种不同类别的运动视频内容均被有效识别并分类出来，说明本文方法能够有效分类不同类型的运动视频内容。
　　实验对比本文方法与基于边缘检测的分类方法分类实验对象过程中的查全率与查准率，结果如表2所示。
　　
　　分析表2得到，采用本文方法分类运动视频内容的查全率与查准率均显著高于基于边缘检测的分类方法，不同类别的运动视频内容平均查全率提升11.44%，平均查准率提升11.06%。由此可见本文方法的分类性能较好。
　　3  结  语
　　划分运动视频内容类型可帮助用户更有效地获取与管理运动视频信息。本文研究基于人工智能技术的运动视频内容分类方法，采用DCDSH算法在运动视频压缩域提取视频图像主色特征，构建SVM分类器根据主色特征分类运动视频内容。分类结果表明，本文方法能够有效分类不同类别的运动视频内容。
　　参考文献
　　[1] 于楼成.体育领域视频运动目标的跟踪方法研究[J].电视技术，2018，42（9）：74?79.
　　[2] 王俊鹏，侯小毛.基于优化粒子滤波器的体育视频目标跟踪算法设计[J].机床与液压，2018，46（6）：164?169.
　　[3] 刘昊扬.基于人工智能的运动教练系统分析与展望[J].北京体育大学学报，2018，41（4）：55?60.
　　[4] 王智杰，高杰，孟茜茜，等.基于深度学习的人工智能技术在早期胃癌诊断中的应用[J].中华消化内镜杂志，2018，35（8）：42?46.
　　[5] 李博，高志远.人工智能技术在智能电网中的应用分析和展望[J].中国电力，2017，50（12）：136?140.
　　[6] 安永志.局部背景边缘干扰下运动视频完整轮廓检测方法[J].沈阳工业大学学报，2018，40（5）：57?62.
　　[7] 石念峰，张平，王国强.基于Fisher矢量编码的运动视频自动评分技术[J].计算机应用研究，2018，35（10）：264?267.
　　[8] 潘丹，关卫军.基于隐马尔可夫模型的体育视频分类方法[J].湘潭大学自然科学学报，2017，39（1）：73?77.
　　[9] 李春木，连迅.民族传统体育对抗类项目视频分析与智能诊断系统研究[J].广州体育学院学报，2016，36（1）：52?56.
　　[10] 裴颂文，杨保国，顾春华.融合的三维卷积神经网络的视频流分类研究[J].小型微型计算机系统，2018，39（10）：140?144.
　　[11] 汤萍萍，董育宁.小波域基于分段Hurst指数的视频流分类[J].电子与信息学报，2017，39（6）：1298?1304.
　　[12] 许晓珑，丁箐，白天，等.基于MapReduce的公路视频图像车型分类研究[J].电视技术，2016，40（3）：111?115.
　　[13] 张馨娇，李建萍.体育视频中基于卡尔曼滤波器的运动员人脸检测识别方法[J].湘潭大学自然科学学报，2017，39（4）：95?98.
　　[14] 智洪欣，于洪涛，李邵梅.基于时空域深度特征两级编码融合的视频分类[J].计算机应用研究，2018，35（3）：926?929.
　　[15] 戴光麟，许明敏，董天阳.基于空间金字塔视觉词袋模型的交通视频车型分类方法研究[J].浙江工业大学学报，2016，44（3）：247?253.
转载注明来源:https://www.xzbu.com/8/view-15248686.htm