大数据重构数据中心

来源:用户上传      作者: 李奕

　　大数据来袭！数据何处安放？数据宝藏如何挖掘？基础架构变向何方？从基础设施到上层应用，大数据的影响广泛而深刻。2012第五届中国数据中心大会以“大数据时代的数据中心变革”为主题，全面解构大数据时代的IT变革。
　　
　　3月30日，2012第五届中国数据中心大会在北京国际饭店会议中心隆重举行。本次大会以“大数据时代的数据中心变革”为主题，全面而深入地探讨了在大数据时代背景下，数据中心在构建、运维、管控和服务等方面将面临的挑战和机遇。
　　 中国电子信息产业发展研究院副总工程师乌宝贵作为主办方领导在大会上致辞。他表示，数据中心作为企业IT建设的主要支撑平台，如何在有效、合理地控制总体拥有成本的前提下，从大数据中获取有价值的信息，如何高效利用云计算资源，更好地为企业业务的发展服务，以及如何简化数据的管理，是企业当前必须面对的挑战。
　　大数据动因
　　 关于大数据形态和相关技术的讨论已经成为IT业界越来越热的议题。大数据背后蕴含了哪些动因？台湾云端运算联盟技术专家委员会大数据专家委员陈育杰表示，一方面，在移动互联网的浪潮下，大量智能终端设备接入网络，制造并传播海量的信息数据；另一方面，传统互联网产生的数据量也非常惊人，大量半结构化、非结构化的数据是大数据重要的形态和组成部分。
　　 惠普亚太及日本地区首席存储顾问Paul Haverfield认为，当前数据量爆发式的增长态势是几个合力共同作用的结果：IT消费化，智能终端和移动互联网应用快速地创造了大量数据；物联网应用，传感器收集了大量数据；企业用户存储的大量没有及时删除的数据也在客观上推动了数据量攀升。
　　 “物联传感器技术的演进，包括互联化和电子化的市场，基于位置的营销等新兴渠道都产生了大量的新兴数据，并引发新的技术变化和演进趋势。”IBM亚太区大数据专家陈威表示，“随着社交网络的兴起，企业营销模式甚至包括交易模式都发生了很大变化。在群体的交互行为中，无论是信息传播的路径还是数据具体的形态、内容都对企业传统的营销和数据处理手段构成了挑战。”
　　
　　 陈育杰认为，大数据一方面需要企业采用不同的看数据的方式，与传统的方式相比，发生了根本的变化；另一方面，用户需要不同的数据管理策略。
　　 企业在过去十几年间所看到的数据本身是残缺的。在大数据时代，企业看数据的整个角度和思维脉络要发生根本的变化，如何更好地实现数据的可视化是一个挑战。
　　 大数据带来的第二个挑战是，传统的数据库和数据仓库在应对大数据这个议题时会面临性价比的问题。大量非结构化数据带来的是数据量爆发式的增长，对存储容量、传输速率、计算速度等要求更高，因此企业必须考虑更具性价比的计算和存储方式。
　　 Paul Haverfield认为，企业应对数据爆炸式增长的策略应该是将数据变成能够让企业获得竞争优势的有用资产，就是通常所说的数据商品化。企业应对数据资料进行挖掘，为决策和业务提供预测性支持。具体而言，企业面临两方面的问题：第一，是否要将所有的数据都保存起来，为什么要保存所有的数据；第二，应该将数据保存在什么样的存储介质上，哪种技术是存储数据最好的平台。
　　做大数据管家
　　 Gartner将大数据列为2012年CIO最关注的技术方向，IDC也认为大数据是企业能力储备最重要的一个方面。CIO和IT管理者如何帮助企业在数据快速增长的现实中定位自身的发展道路？
　　 面对数据量的增长，传统架构虽然能够实现扩充，但局限性在于没有办法实现水平式的横向扩展。传统的IT架构和数据处理方式无法有效地应对大数据环境，数据的存储、计算、管理、分析等几个节点都需要适应大数据的解决方案。企业数据中心应该如何设计？从基础设施的层面上看，需要一个平衡式的架构，既要有高容量，同时也要满足性能上的扩展。基础设施必须有能力应对各种不同的数据量。Paul Haverfield认为，未来的存储将是横向扩展的架构，总体的思路是采用一种线性增长的方式以实现平衡的存储和计算能力。
　　 从数据管理的层面看，在创造数据的同时，企业用户一定要及时考虑应该删除什么样的数据。因此在企业内部，应用管理者和业务管理者需要对数据归档和删除形成一致的观点，采用一致性的策略，避免IT的敏捷性受到影响。数据删除策略中核心的问题在于企业必须理解自己访问老旧数据的需求。
　　核心是分析能力
　　 在IT基础架构和数据管理策略适应大数据需求的基础上，如何挖掘数据背后的价值是更为重要的议题。
　　 Hadoop提供了一个框架，企业可以利用这个平台对大量非结构化数据进行预处理。这个过程实际上是对资料某种程度上的结构化过程。经过预处理，数据资料就更容易和现有的数据仓库结合。数据表层的处理和结构化过程仅仅是其全生命周期的一个开始，这其中还包括数据的可视化、检索、共享、分析等一系列方面。Hadoop提供的是一个开放式的生态系统。然而，企业在此平台上的应用还有很长的路要走：从技术供给层面讲，企业普遍对Hadoop架构比较陌生；此外，基于Hadoop的技术顾问服务缺失，企业先期的咨询和需求分析缺乏专业化指导。
　　 传统的数据分析定位是“描述分析”――“是什么”，现在的情况是，数据分析已经从描述分析“是什么”转向分析预测“那又会怎样”、“现在怎样”，即相关的预测分析技术与实时分析决策。现代分析系统能够帮助企业获得对未来的洞察力，在预测未来产品、趋势和潜在客户方面获得竞争优势。
　　 IBM亚太区大数据专家陈威认为，大数据对企业未来发展的核心要求是建立分析能力。这其中包括数据挖掘的能力，针对大数据提供高效能的计算能力，先进的建模、文本分析、跨部门实时决策等。
　　 传统的IT架构在大企业内部面临着信息共享的难题。IBM的云平台能够提供动态管理，在此基础上，应用计算分析模型和软件形成商业智能分析云的概念。IBM智能分析云采用的是模块化的模式，组件可以按照同步扩展、按需所筹等方式更新服务，这可以帮助企业有效降低整体成本，同时充分挖掘和利用大数据的潜在价值。
　　绿色、稳定的后台设计
　　 大数据的影响不仅存在于企业IT基础设施架构、数据管理策略、数据可视化与分析能力等方面，从根本上也对数据中心的机房设计原则等提出了更高的要求。
　　 鹏博士电信传媒集团执行董事、集团副总裁张光剑表示，大型数据中心在设计时应该遵循五大原则：高节能性、高稳定性、高安全性、高可扩展性、高度冗余，基础设施建设应充分考量这五个方面。
　　 谈到亚洲最大单体云数据中心建设时，张光剑介绍道：“项目从立项、设计、融资到完成投产，实施只花了18个月，效率非常高。选址地点考虑的因素包括110千伏的冗余电力保障、可用的占地面积（三万多平方米）。承载的机柜数和装机服务器数都是最多的。数据中心采用的理念是模块化设计，根据用户的需求灵活设计，按照国家P4标准建造，满足云计算以及大数据数据处理方面可靠性要求。”
　　 美国泛达大中国区技术总监梁俊表示，随着数据中心规模的扩张，机房所需要容纳的服务器、交换机数量越来越多。用户关注的是如何在降低管理成本的同时，有效保障数据中心运作的稳定性。数据中心在稳定性方面面临的主要挑战是散热的问题，这需要从技术上不断更新，应对更加复杂的机房环境和严苛的散热需求。
　　 冷热通道看似是解决散热问题的一个很好的方案，然而在实际应用中气体流向并不会完全遵循设计初衷，混合气流是经常会遇到的情况。现在已经有很多厂商采用侧通风的方式，同时通过一些微通道和空气导槽等完善气流的引导，将机柜温度控制在可控的范围内，保证机器的稳定性。
　　 梁俊认为：“现有的管理软件往往忽略物理层架构。通过物理层的管理软件，用户首先可以看到物理层发生的事件，包括资产、物理连接、数据中心的温湿度、电源、使用空间等情况。管理软件能够显示端到端的物理连接，实现资产的管理，并提供设备使用率的可视化分析。”

转载注明来源:https://www.xzbu.com/8/view-1698543.htm