大数据背景下统计软件在数据分析中的应用
来源:用户上传
作者: 孟雪井 李宏飞 杨亚飞
摘要：大数据时代，各种数据层出不穷，如何从海量数据中挖掘有效信息并加以利用，是各行各业面临的重要问题。统计软件在数据处理过程中起到至关重要的作用。结合大数据的数据特征，本文从数据处理的角度，介绍了常用软件Excel、Eviews、SPSS、Stata、SAS、R及Python在数据整理与分析过程中各自的优势和不足，为数据分析工作者提供参考。
关键词：大数据；统计软件；数据分析
中图分类号：TP393.4 文献识别码：A 文章编号：1001-828X（2016）012-000-01
在大数据时代，每个人身边都存在着海量、丰富可深入挖掘的数据，人人生产数据，时时产生数据。大数据一般分为结构化数据、半结构化数据和非结构化数据，大体上，结构化数据占10%、半结构化数据占5%、非结构化数据占85%，包括各种格式的办公文本、图片、报表、音频、视频等。对统计学习而言，最大的考验是如何对这些海量的数据信息进行充分的开发，找出数据之间隐藏的规律与关系。
首先对于结构化的数据，一般基础数据分析用Excel等统计软件，既可满足基础要求；大数据分析用Eviews，SPSS，Stata，SAS，R，Python等，其中R和Python对于半结构化数据和非结构化数据的挖掘和分析有很好的应用。下面对各软件在大数据分析中的特点进行简单介绍：
Excel电子表格是Microsoft公司推出的Office系列产品之一，是一个功能强大的电子表格软件。特点是对表格的管理和统计图制作功能强大，容易操作。Excel的数据分析插件XLSTAT，也能进行数据统计分析，但不足的是运算速度慢，统计方法不全，因此Excel在大数据分析中存在一定的局限性，但适合一些基础的数据处理。
Eviews是美国QMS公司研制的在Windows下专门从事数据分析、回归分析和预测的工具。使用Eviews可以迅速地从数据中寻找出统计关系，并用得到的关系去预测数据的未来值。Eviews处理回归方程是它的长处，能处理一般的回归包括多元回归问题。不过这个软件的劣势在于它的黑箱式的处理过程，出来的结果可能会不够精确，有的人可能会为得到一些结论而伪造一些结果，可信度不是很高。在大数据分析中Eviews只适合时间序列数据的分析。
SPSS由美国斯坦福大学的三位研究生研制。SPSS系统特点是操作比较方便，统计方法比较齐全，绘制图形、表格较有方便，输出结果比较直观。SPSS在横截面数据的分析中有很大的优势，适合进行从事社会学调查中的大数据分析处理。另外，值得一提的是，最新版的SPSS采用DAA（Distributed Analysis Architecture，分布式分析系统），全面适应互联网，支持动态收集、分析数据和HTML格式报告，使SPSS更加适应大数据的潮流。
Stata统计软件由美国计算机资源中心（Computer Resource Center）1985年研制。特点是采用命令操作，程序容量较小，统计分析方法较齐全，计算结果的输出形式简洁，绘出的图形精美。不足之处是数据的兼容性差，占内存空间较大，数据管理功能需要加强，这使得Stata在大数据分析中处于不利地位，但是相较于Eviews和SPSS，Stata在面板数据分析的优势是毋庸置疑的，Stata更加适合大数据中的面板数据分析。
SAS软件在数据挖掘上具有优势，其板块的独特功能为大数据分析提供了利器。对于不熟悉计算机编程语言的统计学习者可使用SAS。SAS软件的EM模块及sas base拥有强大的数据处理功能。在SAS的EM模块中，包含了数据处理、模型建立、简单算法等丰富的数据处理功能。例如对获取的数据可进行再次抽样，抽样的方式是多种多样的，有：随机抽样、等距抽样、分层抽样、从起始顺序抽样和分类抽样等方式。而且抽样的过程不需要程序运行，只需要建立流程图即可。更加复杂的数据模型如生存分析、神经网络、SVM、决策树、MBR等可以在数据建模中添加节点来进行。在对数据进行分析以后，SAS会导出程序记录和最后结果。尽管SAS有众多优良特性，但其并非脚本语言，所以它在数据运行上占有CPU较高，特别在使用EM模块时，花费的时间相对较长。
Python和R都是开源软件，相较于上述软件，在大数据分析中有着绝对的优势。Python的网络爬虫及R的RCurl包、Rweibo包等都可以进行网络数据和文本挖掘，对非结构性数据亦能进行分析处理。众多的R语言包使得其在数据可视化方面也有着很大的优势。Python和R各有其特点：
R的优势在于有包罗万象的统计函数可以调用，特别是在时间序列分析方面（主要用在金融分析与趋势预测）无论是经典还是前沿的方法都有相应的包直接使用；相比python在这方面贫乏不少。
Python的优势在于其胶水语言的特性，一些底层用C写的算法封装在python包里后性能非常高效（例如：Python的数据挖掘包Orange canve中的决策树分析50万用户10秒出结果，用R几个小时也出不来，8G内存全部占满）。
Python与R相比速度要快。Python可以直接处理上G的数据；R不行，R分析数据时需要先通过数据库把大数据转化为小数据（通过groupby）才能交给R做分析，因此R不可能直接分析行为详单，只能分析统计结果。因此，在大数据分析中，Python更适合对海量数据的处理，而R更适合对数据的统计分析。
目前，最流行的数据分析软件是R。KDnuggets网站每年会做一些数据分析和数据挖掘软件使用的专题问卷调查。据该网站2011年对570个数据挖掘和数据分析的工作者关于过去12个月数据挖掘和数据分析所使用的编程语言的调查显示，R语言排名第一，所占比例近一半（45%）。免费是R流行开来的最大的一个因素，现在还有很多人使用SPSS或SAS，但大都用的是盗版软件。R拥有出色的可视化图形、丰富的统计方法及高效的更新速度，由一个庞大而活跃的全球性社区维护，使用R的人分布在各个研究领域，任何做数据分析的工作者都应该学会使用R。
参考文献：
[1]方匡南，朱建平，姜叶飞.R数据分析：方法与案例详解[M].电子工业出版社，2015.
[2]维克托・迈尔・舍恩伯格，肯尼思・库克耶著，盛杨燕，周涛译.大数据时代：生活、工作与思维的大变革[M].浙江人民出版社.2013.
作者简介：孟雪井（1985-），女，汉族，安徽淮北人，博士，讲师，研究方向：金融统计。
课题：国家社科基金项目“大数据背景下金融统计方法研究”（14CTJ008）
基金资助：国家社会科学基金资助项目（14CTJ008）；中国博士后科学基金第58批面上资助项目（2015M582317）。
转载注明来源:https://www.xzbu.com/3/view-7819599.htm
