一站式大数据平台 助企业一臂之力

来源:用户上传      作者: 刘晶晶

　　近日，由经管之家（原人大经济论坛）主办的2016大数据生态纵览峰会如期在京举行。会上，业界同仁通过大数据的技术手段发现业务问题，推敲问题原因进而演变成可落地的解决方法，把大数据在实践中的经验毫无保留地进行互动探讨。其中永洪科技副总监谢玲，为我们带来了如何打造一站式大数据分析平台的相关思考，表达了通过大数据平台对企业分析和企业战略帮助的殷切期望。
　　何为“一站式”
　　一站式大数据平台包括三个阶段，数据准备、探索式的数据分析以及深度分析。为什么将这三个方面归总一起构建大数据分析平台呢？因为这与数据分析的三个阶段相匹配。“我们在分析过程中会对接到很多数据，这些数据来自企业各自的系统，包括外部的互联网的数据或表格文本日志数据。这些数据可能相对原始，粗粒程度较高，距离最终的分析与处理还有一定过程。怎么把数据进行清理和整合，并完成一个轻度建模，这就需要自服的数据准备。”谢玲表示。
　　接下来的数据清洗可以使用中间数据模型，随后就可以进行探索式的分析。这个阶段由业务人员或IT人员进行操作。拿到数据后，想做怎样的组合进行指标和维度的匹配，然后选择合适的计算方式和展现形式，最后通过符合个性的探索模式进行深度分析，这就需要可以灵活操作的分析阶段。
　　下一个阶段可能就会涉及针对一些组合分析不能满足的场景做一些挖掘类的分析，其中包括对一些数据本身所涉及的一些未知、特征不明显或维度不确定来进行分析，这就可能需要利用挖掘算法来支撑。
　　众所周知，数据清洗的过程非常艰辛，需要将数据建成一个不策略的清洗架构，建立后进行探索式分析。为什么提到这是一个探索式的过程？数据本身要进行什么样的分析，才能达成一个灵活多变的过程。例如，针对销售业绩进行评估，如果看到一个销售业绩发生下降，常规来说可能会进行多维度的切换，分析到底哪个区域下降或者哪个时间范围内下降，呈现连续下降还是阶段性的下降抑或是在人员方面可能会出现一些其它的特征……这些考量都不是一个固定的过程，需要随时切入与切出的探索式过程才能够发现其中的价值。
　　一站式大数据平台包括几个部分，分别是连接数据、编辑报表、查看报表等不同阶段，如果从连接数据开始分析，一个企业数据可能会连接各种异构的数据，其中可能会包括一些关系型数据库或者表格数据以及第三方接口数据，把数据连接好后，通过平台做可视化的组合。例如用户画像会涉及到一些数据群，包括从会员系统输入的会员数据，其中包含名字、性别、年龄、收入水平等与会员相关的一些维度信息和指标信息等;从教育系统来的销售数据，甚至还有某个家电的销售数据，用来衡量产品的购买人群、购买地域以及产品类型，通过平台把不同的系统数据进行整合，进一步可以把会员数据和家电数据进行并项拼接。谢玲认为：“如果数据是补充更多的维度，横向的数据与维度有机融合，可以通过左右关联着手去做;如果数据本身是一致的，就可以采用上下拼接的方式运行系统。”
　　谈及将会员数据与家电数据进行关联，整个关联的过程可以通过选择左关联还是右关联完成，其中关联会有一个匹配的自断。通过会员ID和销售的记录进行关联，这样就获取了关联好的表结构，关联的过程中并没有进行任何维度的组合或指标的加工，但其中都是一些镶嵌在系统中的细节数据，这样保存起来就形成了可利用的模型。
　　升级改良传统
　　众所周知，探索式分析会有怎样的最佳实践，这需要在过程中建立模层与业务层进行隔离，才能得到一个探索式的效果。相比于传统的做法，我们看到大体结构确实有相似之处，但实际上却有本质的区别。作为传统的BI工具，在连接数据源做处理时采用的是结构化的关系型数据库。例如，如果处理一亿级别数据，可能运作起来会比较慢，在一定程度上甚至会丧失数据的灵活性。“当我看到销售组合发生变化时，就会想知道销售的中位数是不是也在发生变化？它的趋势是什么样的情况？这时候如果需要IT人员回到系统中处理或者做各种调整，传统情况可能会隔天或者隔周才能提交结果，这样就大大丧失了灵活性。”谢玲强调。
　　面对在业务过程中越来越多的企业选择敏捷性的工具使用的趋势，两种本质上也会存在些许区别。传统方式对企业洞察是有限的，探索式分析可以完全释放价值。我们对于传统工具只能做固定报表呈现，给领导者使用;当业务人员不能很好去使用的时候，它的价值是很难得到体现，只有少数人或者说只有IT人员才可以操作这个系统，其实大量的业务人员的很多需求是无法得到解答。
　　运用传统方式处理数据量庞大的场景下，会做很多提前的预热和处理，但如果运用新技术做海量数据的实施处理就不需要这样的流程。从企业的长远价值来看，通常只是局限看固定报表，固定报表呈现出怎样的结果就是怎样的结果，进而僵化了整个的思维模式。大家通过看固定结果逐渐忽视了大数据的价值。通常讲求提高性能，传统系统在同样的机器环境下，只能处理大概三个月或者五个月的数据，用新型的系统可以着手处理五年以上的数据，提高整体视野，这个价值是有所区别的。
　　在一个业务型的企业中，IT技术人员本身偏少，只占整体企业人员的10%以下，在这种情况下对于具有深度挖掘能力的数据科学家自然又是少之又少。但企业在业务分析过程中可能会涉及到一些挖掘的算法来帮助解答问题。例如对于如此庞大数量的销售数据以及用户数据，哪些用户属于高价值的用户还是低价值用户，怎样分类出高价值用户然后提供一个高黏性的销售策略，以及对于低价值用户怎样通过其它策略去触动，促使其向中价值和高价值发展……不同的数据对应的销售策略是不一样的，这个目标非常明确，但如何通过业务员发现这样的结果，这就需要一站式大数据分析平台通过输入一些少量的参数才能达到满意的效果。
　　打造包括数据建模、数据制作与分析以及深度分析一站式大数据平台，通过机器应用的前端挖掘价值是目前开发大数据价值的有效工作之一。我们认为大数据的价值开发是起点而不是终点，通过不断地细分与比较得到大数据背后隐藏的利益点才最重要。
　　在大数据时代，个人、企业和机构都会面临大数据的问题，建设面向服务的大数据平台，为众多的中小企业和个人用户提供大数据处理和分析的能力，将成为大数据产业发展的重要方向之一。
　　相关链接
　　面向服务的大数据分析平台以区域性智能数据中心及高速互联网为基础设施，以互联网服务体系为架构，以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑，通过多样化移动智能终端及移动互联网为用户提供数据存储、管理以及各种分析服务。
　　商业应用是大数据分析平台的发展目标之一。随着我国企业信息化程度和水平不断提高，越来越多的企业需要用大数据分析能力来提高竞争力。
　　在互联网、电子商务、金融、电信、物流等数据驱动型行业中，客户分群、行为分析、关系管理、市场营销、广告投放、业务优化、风险管理等企业核心业务越来越依赖于对数据的有效分析与挖掘。
转载注明来源:https://www.xzbu.com/1/view-7204327.htm