您好, 访客   登录/注册

神经网络与支持向量机的竞争与协作

来源:用户上传      作者:

  摘 要:简单介绍了神经网络与支持向量机,对比分析两者的优缺点,提出了神经网络与支持向量机的协作发展,为两者实际应用的缺欠领域创造更多可能。
  关键词:神经网络;支持向量机;竞争;协作
  人工神经网络(Artificial Neural Network,ANN)与支持向量机(Support Vector Machine,SVM)都是非线性分类模型。1986年,Rummelhart与McClelland创造出前馈型神经网络学习算法,简称BP算法。Vapnik等人于1992年提出支持向量机的概念。神经网络为包含输入、输出以及隐含层的非线性模型,隐含层可以是单层也可以是多层,支持向量机则运用核理论将非线性问题转换为线性问题。神经网络与支持向量机同为统计学习的代表方法,其中神经网络建立在传统统计学的基础上,支持向量机则建立在统计学理论的基础上。传统统计学假定样本数据无限大,从而推导出各种算法,得到其统计性质及其渐进理论。而在实际应用中,样本数为有限数据,对神经网络算法造成了限制。为了对比分析,研究者分别对BP神经网络与支持向量机进行仿真实验,得出支持向量机具有更强的逼近能力这一结果。但从后文所述支持向量机的优缺点来看,当训练样本规模较大时,运用支持向量机的算法很难实现。一直以来,神经网络与支持向量机处于“竞争”的关系,但无论是神经网络还是支持向量机,都做不到完美无缺。
  1 人工神经网络
  1.1 神经网络特点
  神经网络是由大量的神经细胞(亦称神经元)组成,这些神经细胞具有很高的互连程度,构成了神经网络复杂的并行结构。神经网络结构来源于对人脑结构的模仿,因而也反映了人脑的基本结构与基本特征,构成了类似人脑结构复杂程度的学习与运算系统。为前馈网络选择适当的隐含层数目与隐含层节点数目,便能以任意精度逼近非线性函数。在工业过程的控制与建模操作中,神经网络技术得以广泛应用并成果显著。神经网络具有以下特点:在线及离线学习,自学习和自适应不确定的系统;能够辨识非线性系统,逼近任意非线性函数;讯息分布存储、并行处理,因而容错性强且处理速度快;通过神经网络运算,解决自动控制计算的许多问题。具有以上特点,使神经网络良好的应用于自动控制领域。
  1.2 神经网络缺陷
  神经网络的缺陷性主要表现为:网络结构需事先确定,训练过程不断修正,无法保证最优网络;通过实验调整网络权系数,且有局限性;样本数目足够多时结果质量好,但需要大量训练时间;出现无法得到最优解的情况,易陷入局部最优;目前收敛速度的决定条件无法判断,定量分析训练过程的收敛速度无法实现;经验风险最小化原则的基础下,无法保证优化时神经网络的泛化能力。前馈型神经网络普遍运用于自动控制领域,但实际应用中存在的问题却不容忽视,在经验风险最小化原则的基础下,网络模型具有较差的泛化能力。相比于神经网络,支持向量机小样本学习能力强、模型外推能力好,适用于高维数据的处理,适于解决过程控制中的复杂问题,广泛应用于过程控制领域。
  2 支持向量机
  2.1 支持向量机特点
  支持向量机算法建立在统计学理论的基础上。统计学理论是机器学习规律的基本理论,对于小样本统计目前最佳。神经网络建立在经验风险最小化原则的基础上,优化时的泛化能力无法保证,而统计学理论对经验风险最小化原则成立的条件进行了系统的研究,并分析小样本情况下经验风险与期望风险的关系。自Vapnik等人钻研此方面起,到20世纪90年代中期,伴随核理论进展、趋于成熟,最终提出支持向量机。支持向量机可以看作简易的前馈型神经网络,只包含一个隐含层。选定非线性映射,支持向量机将输入向量映射到高维特征空间,来实现最优分类超平面。每个输入的支持向量对应一个隐含层中的节点,输出为隐含层节点的线性组合。支持向量机能够根据有限的样本信息,获得模型复杂程度与学习能力之间最佳的平衡点,得到最佳的外推能力。而基于统计学理论,支持向量机并不依赖于设计者的知识、经验,具有严谨的理论基础。支持向量机具有以下特点:具有严格的理论基础,不依赖于设计者的知识、经验;针对小样本情况,相比于寻求样本数趋于无穷时的最优解,节省了大量时间;基于结构风险最小化的原则,泛化能力得以保证;将输入空间的非线性问题转化为高维空间的线性函数进行判别;解决局部最优问题,保证了算法的全局最优性。
  2.2 支持向量机缺陷
  针对小样本情况,对于大规模训练样本难以实施,支持向量机凭靠二次规划来求解支持向量,求解二次规划时需要计算n(样本个数)阶矩阵。支持向量机针对小样本设计,矩阵阶数很高时需要很长的运算时间,同时大大占用了机器的内存。在解决多元问题上存在困难实际应用中待解决的往往是多元问题。利用支持向量机解决多元问题,可将待解决的问题转化为多个经典二分类支持向量机的组合,或者构造多个分类器的组合。需要结合其他算法优势,分析并克服支持向量机的固有缺陷,找到平衡点。
  3 相互关系及协作发展
  神经网络理论上存在一定的缺陷,实际应用中存在不可避免的问题,虽然有对应的改进方案和解决办法,但神经网络的弊端却无法从根本上解决,这就造成一段时间内神经网络理论发展缓慢。实际应用中,神经网络结构的选择为一难点。结构选择并无统一标准,研究者从实际角度出发,根据自身知识、经验选定网络的参数与结构。在样本数目一定的情况下,想得到较强的学习能力,则要求更复杂的网络结构,那么就存在过学习的现象,结构过于简单则学习能力不足。神经网络的参数与结构需要研究者事先确定,而对于实际问题中的变化无法随机应对。神经网络的研究发展缓慢,面对无法克服的缺陷及弊端,许多研究者先后选择退出该研究领域。既然支持向量机具备多方面神经网络所欠缺的性能,为何不分析支持向量机,从统计学理论的先进性,为神经网络的发展寻求一些启示?如何与支持向量机对比、协作,在样本有限的情况下使神经网络具有较强的推广性?这些都是研究者们应该继续深入研究的问题。解决多分类问题时神经网络非常便利,而目前支持向量机仍然无法良好处理。研究者设计出包含各种先验知识的神经网络结构,来满足对实际问题的需求,支持向量机却只能将其转化为二类组合问题进行处理。对于支持向量机来说,并不是只需要选取核函数就解决了一切问题,如何选取核函数,如何构造都是还未解决的问题,对核函数不同的选择得到的分类结果不同,因此核函数的选取尤为重要。
  4 结束语
  处于支持向量机理论的高速发展时期,人们研究支持向量机具有很大的热情,则必然存在一定的跟风与盲目性,科学技术的研究更多需要的是理智与耐心,虽然神经网络的研究趋于平缓、正常,但不应被彻底遗忘或摒弃。如何深入研究支持向量机的优点,探讨统计学理论的先进性,对神经网络加以改进;如何避免支持向量机理论快速发展时期随波逐流的现象,借鉴神经网络算法,提高研究效率,改进研究结果,这都是研究人员需要思考、解决的问题。
  参考文献
  [1]史忠植.神经网络[M].北京:高等教育出版社,2009,5.
  [2]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2007,7.
  [3]茹菲,李铁鹰.人工神经网络系统辨识综述[J].软件导刊,2011,3.
  [4]Hagan M T, Demuth H B, Beale M H. Neural network design[M].Boston London: Pws Pub.,1996.
  [5]黄娟,唐轶,王军霞.贪婪支持向量机的分析与应用[J].计算机工程与应用,2012,48(24):32-36.
  [6]Cristianinin, Shawe T J. An introduction to support vector machine[M].New York: Cambridge University Press,2000.
  [7]张昱,陈光黎.基于最小二乘支持向量机的机器视觉识别方法[J].测控技术,2011,30(7):97-100.
  作者简介:黄晔(1989-),女,汉族,陕西扶风人,硕士在读,研究方向:检测技术与自动化装置。
转载注明来源:https://www.xzbu.com/1/view-11642254.htm