见证进化的力量，
来源:用户上传
作者:
与使用大数据平台不同，借助大数据操作系统，用户可以和一个统一的大数据有机体进行交互。所以交互是大数据操作系统最重要的要素，没有它，就不能说是一个大数据操作系统。
一直以来大数据技术的进化方向都是自下而上的。但有了搜索引擎、分布式存储、计算框架等基础支撑之后，大数据的发展又出现了新的问题，那就是落地问题。很多人感叹“大数据技术发展积累了近10年，但价值还没有最大地发挥出来，因为不好用”。于是，大数据技术的进化开始着眼向操作系统的方向发展。
百分点研发总监刘国栋在接受记者采访时表示，大数据操作系统具备五大要素：统一的存储管理，统一的资源管理，统一的任务管理，人机交互机制，数据生命周期管理（这是大数据操作系统最重要的要素，没有它，就不能说是一个数据操作系统）。人类通过与大数据操作系统的交互，就可以更好地通过大数据洞察这个世界，做出恰当的决定。
刚需驱动进化
于是，业界根据此前经验打造了大数据平台这样的工具：首先考虑需要用什么工具，再把这个工具封装，打包，统一部署，统一使用，由此，大数据平台成为大数据技术进化十年后的是第一个工业化、产品化的形态。
但使用一段时间后业内发现，大数据平台还是很晦涩。比如工具箱里的东西都是独立存在的，并且都有自己的特点，无法很平滑地协作，很难形成一个统一的输出标准；技术模块没有一个统一的标准，这导致大数据的管理人员很难去管理；无法有效地对业务提供支撑。
这时，大数据操作系统的概念应时而出，而刘国栋所在的百分点则是首批在国内将这个概念落地成实际产品的大数据公司。
自上世纪90年代以来，互联网迅速崛起，网络成为前所未有的巨型数据源，促使数据量和数据维度爆炸式增长，搜索引擎揭开了大数据的序幕，它解决了海量数据上低延迟检索的问题，大量的新型的数据关联性被发现，被构造，这时人们又渴望可以能在海量数据之上即时的进行数据关联性的计算，这一需求促生了进一步的进化，NOSQL诞生了，随着在大数据之上的业务需求逐渐变多，促生了能够统一部署和使用多种大数据技术的数据平台。
系统优于平台
相对大数据平台，大数据操作系统能够基于主流的、有统一标准的存储技术之上对资源进行管理。大数据操作系统拥有核心的资源管理系统，可对资源进行统一分配和管理。同时，也拥有对任务的统一调动和管理能力，在存储和多任务方面也都有统一的管理机制，能对各种任务实现自动化地调动和跟踪，并与存储相对应，拥有完备的人机交互机制，同时拥有数据生命周期管理系统， 管理数据接入，整合，加工，消费四大阶段。
大数据操作系统将慢慢地肩负起连接用户业务与大数据技术的责任。
虽然在任务调度能力上，大数据操作系统还处于一种初始化状态。在交互体验上，大数据操作系统还很简陋，但这是一个进步。
百分点研发总监刘国栋表示：“借助大数据操作系统，用户可以和一个内在统一的数据有机体进行交互，用户面对的也是一个统一的大数据技术标准体系。使大数据管理可视化、智能化、系统化、协同化。”
据刘国栋介绍，可视化是指所见即所得可视化交互界面，使用户直观，便捷的使用大数据技术；系统化是指内置一套大数据处理的标准化模板，提高了数据处理的效率，降低了维护和管理成本；智能化是指通过智能引导的方式，帮助用户轻松构建相应的数据流程；协同化是指提供一个协同工作环境，让不同职能的用户可以很方便的协调联动”。
大数据操作系统会不断地进化，但还有一个问题，那就是用户实际上并不会关心大数据技术层面，而只是希望充分地利用自己的经验构建自己想要的业务场景，所以大数据系统还要能够让用户更轻松、更简单地构建自己想要的业务场景，这是整个大数据市场需要解决的问题。
三个核心思想
据刘国栋介绍，百分点大数据操作系统（BD-OS）以面向对象的方法论，把大数据技术抽象成模块、组件，同时融入了三大核心思想，如下：
第一个是DPM。DPM是大数据处理流程的一种抽象方式，在DPM中可以构建、容纳、管理更多的数据处理流，每一条处理流都是一条业务线。比如，一条处理流是数据仓库，另一条处理流是新闻聚合。只要是与数据处理相关的流程，我们都能通过DPM抽象为对象，在这样一个方式里，可以允许用户快速地构建数据处理流程，和对流程进行统一的管理，比如增、删、改、查。
第二个是DPOA。DPOA是以数据业务为中心来构建系统架构，将数据流程翻译或转换为相应的系统架构。过去，构建大数据系统架构是从底向上进行的，第一步要干的事是考虑到底用Hadoop架构，还是其他架构，然后再考虑数据仓库怎么设计、调度，设计完成后再考虑业务逻辑。但DPOA是自顶向下， 用户在构建流程的过程中，只需考虑如何利用自己的行业知识，而不必关系底层技术。
第三个是ESB。ESB是指大数据企业级服务总线，比如，一辆汽车从加工车间、组装，再到4s店，整个过程都可以看成是一条数据流。在用户的实际业务场景中，数据流通常都是比较复杂的，生产、制造等一条数据流上下游的节点也非常多。这时会出现一个问题：流程是生产某一个车型A ，产品晋级后版本是A1，但实际上从A升级到A1改变是细微的，这时如果针对每个小版本的升级再重新构建一个数据流是得不偿失的。所以，把节点做成可插拔的方式，再通过更换节点实现版本更新，从成本投入来说更加经济。
时至今日，大数据技术和产业仍在不断进化中，大数据操作系统是一个划时代的里程碑，它标志这大数据的业态开始成熟下来，可以在工业环境中真正落地。
转载注明来源:https://www.xzbu.com/8/view-11604381.htm
